Megosztás a következőn keresztül:

Databricks Runtime 7.0 (EoS)

  • Cikk

Feljegyzés

A Databricks Runtime-verzió támogatása véget ért. A támogatás megszűnésének dátumáról lásd a támogatási előzményeket. Az összes támogatott Databricks Runtime-verziót lásd : Databricks Runtime release notes versions and compatibility.

A Databricks 2020 júniusában adta ki ezt a verziót.

Az alábbi kibocsátási megjegyzések az Apache Spark 3.0 által működtetett Databricks Runtime 7.0-ról nyújtanak információkat.

Új funkciók

A Databricks Runtime 7.0 a következő új funkciókat tartalmazza:

  • Scala 2.12

    A Databricks Runtime 7.0 2.11.12-ről 2.12.10-re frissíti a Scalát. A Scala 2.12 és 2.11 közötti változáslista a Scala 2.12.0 kibocsátási megjegyzéseiben található.

  • A Databricks Runtime 6.4-ben kiadott Automatikus betöltő (nyilvános előzetes verzió) továbbfejlesztve lett a Databricks Runtime 7.0-ban

    Az Automatikus betöltővel hatékonyabban dolgozhatja fel az új adatfájlokat növekményesen, amikor azok az ETL során egy felhőalapú blobtárolóba érkeznek. Ez a fájlalapú strukturált streamelés továbbfejlesztése, amely azonosítja az új fájlokat a felhőkönyvtár ismételt listázásával és a látott fájlok nyomon követésével, és a címtár növekedésével nagyon nem hatékony. Az automatikus betöltő kényelmesebb és hatékonyabb, mint a fájlértesítésen alapuló strukturált streamelés, amelyhez manuálisan kell konfigurálni a fájlértesítési szolgáltatásokat a felhőben, és nem engedi a meglévő fájlok feltöltését. További részletekért lásd : Mi az automatikus betöltő?.

    A Databricks Runtime 7.0-n már nem kell egyéni Databricks Runtime-rendszerképet kérnie az automatikus betöltő használatához.

  • COPY INTO A Databricks Runtime 7.0-s verziójában javult az adatok idempotens újrapróbálkozással történő betöltését lehetővé tevő (nyilvános előzetes verzió), amely lehetővé teszi adatok betöltését a Delta Lake-be

    A Databricks Runtime 6.4-ben COPY INTO nyilvános előzetes verzióként kiadott SQL-parancs lehetővé teszi, hogy idempotens újrapróbálkozásokkal betöltse az adatokat a Delta Lake-be. Az adatok Delta Lake-be való betöltéséhez ma Apache Spark DataFrame API-kat kell használnia. Ha a terhelések során hibák lépnek fel, hatékonyan kell kezelnie őket. Az új COPY INTO parancs egy jól ismert deklaratív felületet biztosít az adatok SQL-ben való betöltéséhez. A parancs nyomon követi a korábban betöltött fájlokat, és hiba esetén biztonságosan újra futtathatja őket. További részletekért lásd: COPY INTO.

Fejlesztések

  • Az Azure Synapse (korábbi nevén SQL Data Warehouse) összekötő támogatja az utasítást COPY .

    Ennek fő előnye COPY , hogy az alacsonyabb jogosultsággal rendelkező felhasználók anélkül írhatnak adatokat az Azure Synapse-ba, hogy szigorú CONTROL engedélyekre van szükségük az Azure Synapse-ban.

  • A %matplotlib inline magic parancsra már nincs szükség a Matplolib-objektumok beágyazott megjelenítéséhez a jegyzetfüzetcellákban. Alapértelmezés szerint mindig beágyazottként jelennek meg.

  • A matplolib-ábrák mostantól a felhasználó által megadott háttérrel jelennek transparent=Falsemeg, így nem vesznek el. Ezt a viselkedést felül lehet bírálni a Spark-konfiguráció spark.databricks.workspace.matplotlib.transparent truebeállításával.

  • Ha strukturált streamelési éles feladatokat futtat magas egyidejűségi módú fürtökön, a feladat újraindítása időnként meghiúsulna, mert a korábban futó feladat nem lett megfelelően leállva. A Databricks Runtime 6.3 lehetővé tette az SQL-konfiguráció spark.sql.streaming.stopActiveRunOnRestart true beállítását a fürtön, hogy az előző futtatás leálljon. Ez a konfiguráció alapértelmezés szerint be van állítva a Databricks Runtime 7.0-ban.

Főbb kódtár-módosítások

Python-csomagok

Nagyobb Python-csomagok frissítve:

  • boto3 1.9.162 -> 1.12.0
  • matplotlib 3.0.3 -> 3.1.3
  • numpy 1.16.2 -> 1.18.1
  • pandas 0.24.2 -> 1.0.1
  • pip 19.0.3 -> 20.0.2
  • pyarrow 0.13.0 -> 0.15.1
  • psycopg2 2.7.6 -> 2.8.4
  • scikit-learn 0.20.3 –> 0.22.1
  • scipy 1.2.1 -> 1.4.1
  • tengeri 0.9.0 -> 0.10.0

A Python-csomagok el lettek távolítva:

  • boto (boto3 használata)
  • pycurl

Feljegyzés

A Databricks Runtime 7.0 Python-környezete a Python 3.7-et használja, amely eltér a telepített Ubuntu-rendszertől, /usr/bin/python és /usr/bin/python2 a Python 2.7-hez kapcsolódik, és /usr/bin/python3 a Python 3.6-hoz kapcsolódik.

R-csomagok

R-csomagok hozzáadva:

  • seprű
  • highr
  • izoband
  • knitr
  • markdown
  • modellező
  • reprex
  • rmarkdown
  • rvest
  • választó
  • tidyverse
  • tinytex
  • xfun

R-csomagok el lettek távolítva:

  • abind
  • bitops
  • autó
  • carData
  • doMC
  • gbm
  • h2o
  • kicsi
  • lme4
  • mapproj
  • Térképek
  • maptools
  • MatrixModels
  • minqa
  • mvtnorm
  • nloptr
  • openxlsx
  • pbkrtest
  • pkgKitten
  • quantreg
  • R.methodsS3
  • R.oo
  • R.utils
  • RcppEigen
  • RCurl
  • Rio
  • Sp
  • SparseM
  • statmod
  • fütyülés

Java- és Scala-kódtárak

  • A Hive felhasználó által definiált függvények kezelésére használt Apache Hive-verzió és a Hive SerDes 2.3-ra frissült.
  • Korábban az Azure Storage és a Key Vault jars a Databricks Runtime részeként lett csomagolva, ami megakadályozza, hogy a fürtökhöz csatolt kódtárak különböző verzióit használja. A Databricks Runtime osztályútvonala alatt com.microsoft.azure.storage lévő és com.microsoft.azure.keyvault már nem található osztályok. Ha ezektől az osztályelérési utaktól függ, most az Azure Storage SDK-t vagy az Azure Key Vault SDK-t kell csatolnia a fürtökhöz.

Viselkedésbeli változások

Ez a szakasz a Databricks Runtime 6.6 és a Databricks Runtime 7.0 közötti viselkedésváltozásokat sorolja fel. Ezeket figyelembe kell vennie, amikor a számítási feladatokat az alacsonyabb Databricks Runtime-kiadásokból a Databricks Runtime 7.0-s vagy újabb verziójába migrálja.

Spark-viselkedésváltozások

Mivel a Databricks Runtime 7.0 az első, Spark 3.0-ra épülő Databricks-futtatókörnyezet, számos változásról kell tudnia, amikor a számítási feladatokat a Databricks Runtime 5.5 LTS-ből vagy 6.x-ből migrálja, amelyek a Spark 2.4-en alapulnak. Ezek a változások a jelen kiadási megjegyzésekben található Apache Spark-cikk minden egyes működési területének "Viselkedésváltozások" szakaszában jelennek meg:

Egyéb viselkedésváltozások

  • A Scala 2.12-re való frissítés a következő módosításokat foglalja magában:

    • A csomagcellák szerializálása másképp történik. Az alábbi példa a viselkedésváltozást és annak kezelését szemlélteti.

      A következő csomagcellában definiált módon futtatva foo.bar.MyObjectInPackageCell.run() aktiválódik a hiba java.lang.NoClassDefFoundError: Could not initialize class foo.bar.MyObjectInPackageCell$

      package foo.bar

case class MyIntStruct(int: Int)

import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions._
import org.apache.spark.sql.Column

object MyObjectInPackageCell extends Serializable {

  // Because SparkSession cannot be created in Spark executors,
  // the following line triggers the error
  // Could not initialize class foo.bar.MyObjectInPackageCell$
  val spark = SparkSession.builder.getOrCreate()

  def foo: Int => Option[MyIntStruct] = (x: Int) => Some(MyIntStruct(100))

  val theUDF = udf(foo)

  val df = {
    val myUDFInstance = theUDF(col("id"))
    spark.range(0, 1, 1, 1).withColumn("u", myUDFInstance)
  }

  def run(): Unit = {
    df.collect().foreach(println)
  }
}

      A hiba megkerüléséhez sortörést MyObjectInPackageCell végezhet egy szerializálható osztályban.

    • Bizonyos esetekben a használathoz DataStreamWriter.foreachBatch forráskódfrissítésre van szükség. Ez a változás annak a ténynek köszönhető, hogy a Scala 2.12 automatikusan átalakítja a lambdakifejezéseket SAM-típusokká, és kétértelműséget okozhat.

      A következő Scala-kód például nem fordítható le:

      streams
  .writeStream
  .foreachBatch { (df, id) => myFunc(df, id) }

      A fordítási hiba kijavításához módosítsa foreachBatch { (df, id) => myFunc(df, id) } foreachBatch(myFunc _) vagy használja a Java API-t kifejezetten: foreachBatch(new VoidFunction2 ...).

  • Mivel a Hive felhasználó által definiált függvények kezelésére használt Apache Hive-verzió és a Hive SerDes 2.3-ra frissül, két módosításra van szükség:

    • A Hive felületét SerDe egy absztrakt osztály AbstractSerDeváltja fel. Az egyéni Hive-implementációk SerDe esetében a migrálás AbstractSerDe szükséges.
    • builtin A beállítás spark.sql.hive.metastore.jars azt jelenti, hogy a Hive 2.3 metaadattár-ügyfél a Databricks Runtime 7.0 metaadattárainak elérésére szolgál. Ha hozzá kell férnie a Hive 1.2-alapú külső metaadattárakhoz, állítsa be spark.sql.hive.metastore.jars a Hive 1.2 jars-t tartalmazó mappát.

Elavulások és eltávolítások

  • Az adatkimaradási index elavult a Databricks Runtime 4.3-ban, és a Databricks Runtime 7.0-ban el lett távolítva. Javasoljuk, hogy inkább Delta-táblákat használjon, amelyek továbbfejlesztett adatkiugrási képességeket kínálnak.
  • A Databricks Runtime 7.0-ban az Apache Spark mögöttes verziója a Scala 2.12-t használja. Mivel a Scala 2.11-ben lefordított kódtárak váratlan módon letilthatják a Databricks Runtime 7.0-fürtöket, a Databricks Runtime 7.0-s vagy újabb verzióját futtató fürtök nem telepítik az összes fürtre telepített kódtárakat. A fürttárak lap egy állapotot Skipped és egy elavultsági üzenetet jelenít meg, amely ismerteti a tárkezelés változásait. Ha azonban olyan fürtje van, amelyet a Databricks Runtime egy korábbi verziójában hoztak létre, mielőtt az Azure Databricks platform 3.20-es verziója megjelent volna a munkaterületen, és most szerkessze a fürtöt a Databricks Runtime 7.0 használatára, a fürtön minden olyan kódtár telepítve lesz, amely az összes fürtre telepítve lett. Ebben az esetben a telepített kódtárakban lévő nem kompatibilis JAR-k a fürt letiltását okozhatják. A megkerülő megoldás a fürt klónozása vagy egy új fürt létrehozása.

Apache Spark

A Databricks Runtime 7.0 tartalmazza az Apache Spark 3.0-t.

Ebben a szakaszban:

Core, Spark SQL, Strukturált streamelés

Legfontosabb tudnivalók

  • (Hidrogén projekt) Gázpedálérzékeny ütemező (SPARK-24615)
  • Adaptív lekérdezés végrehajtása (SPARK-31412)
  • Dinamikus partíciómetszet (SPARK-11150)
  • Újratervezett pandas UDF API típustippekkel (SPARK-28264)
  • Strukturált streamelési felhasználói felület (SPARK-29543)
  • Katalógus beépülő modul API (SPARK-31121)
  • Jobb ANSI SQL-kompatibilitás

Teljesítménybeli fejlesztések

  • Adaptív lekérdezés végrehajtása (SPARK-31412)
  • Dinamikus partíciómetszet (SPARK-11150)
  • Egyéb optimalizáló szabályok
    • Szabály újrafelhasználása (SPARK-27279)
    • PushDownLeftSemiAntiJoin szabály (SPARK-19712)
    • PushLeftSemiLeftAntiThroughJoin szabály (SPARK-19712)
    • ReplaceNullWithFalse szabály (SPARK-25860)
    • Szabály: Rendezés megszüntetése korlátozás nélkül az Illesztés/összesítés al lekérdezésében (SPARK-29343)
    • Rule PruneHiveTablePartitions (SPARK-15616)
    • Szükségtelen beágyazott mezők metszése a Létrehozásból (SPARK-27707)
    • Rule RewriteNonCorrelatedExists (SPARK-29800)
  • A táblagyorsítótár szinkronizálási költségeinek csökkentése (SPARK-26917), (SPARK-26617), (SPARK-26548)
  • Összesítő kód felosztása kis függvényekbe (SPARK-21870)
  • Kötegelés hozzáadása az INSERT és az ALTER TABLE ADD PARTITION parancsban (SPARK-29938)

Bővíthetőségi fejlesztések

  • Katalógus beépülő modul API (SPARK-31121)
  • Adatforrás V2 API újrabontása (SPARK-25390)
  • Hive 3.0 és 3.1 metaadattár támogatása (SPARK-27970),(SPARK-24360)
  • Spark beépülő modul felületének kiterjesztése az illesztőre (SPARK-29396)
  • Spark-metrikák kiterjesztése felhasználó által meghatározott metrikákkal végrehajtó beépülő modulokkal (SPARK-28091)
  • Fejlesztői API-k a bővített oszlopos feldolgozás támogatásához (SPARK-27396)
  • Beépített forrásmigrálás a DSV2 használatával: parquet, ORC, CSV, JSON, Kafka, Text, Avro (SPARK-27589)
  • FunctionInjection engedélyezése a SparkExtensionsben (SPARK-25560)
  • Lehetővé teszi, hogy az aggregátor UDAF-ként legyen regisztrálva (SPARK-27296)

Összekötő fejlesztései

  • Oszlopmetszet nemdeterminista kifejezéseken keresztül (SPARK-29768)
  • Támogatás spark.sql.statistics.fallBackToHdfs adatforrástáblákban (SPARK-25474)
  • Partíciómetszet engedélyezése a fájlforrás al lekérdezési szűrőivel (SPARK-26893)
  • Az adatforrásszűrőkben (SPARK-25482) kerülje az allekérdezések leküldését
  • Rekurzív adatbetöltés fájlforrásokból (SPARK-27990)
  • Parquet/ORC
    • Disjunctive predikátumok leküldése (SPARK-27699)
    • A beágyazott oszlopmetszés általánosítása (SPARK-25603) és alapértelmezés szerint bekapcsolva (SPARK-29805)
    • Csak parquet
      • Parquet predikate pushdown beágyazott mezőkhöz (SPARK-17636)
    • Csak ORC
  • CSV
    • Támogatási szűrők leküldéses leküldése a CSV-adatforrásban (SPARK-30323)
  • Hive SerDe
    • Nincs sémakövetkeztetés a Hive serde tábla natív adatforrással való olvasásakor (SPARK-27119)
    • A Hive CTAS-parancsoknak adatforrást kell használniuk, ha átalakítható (SPARK-25271)
    • Natív adatforrás használata particionált Hive-tábla beszúrásának optimalizálásához (SPARK-28573)
  • Apache Kafka
    • Kafka-fejlécek támogatásának hozzáadása (SPARK-23539)
    • Kafka delegálási jogkivonat támogatásának hozzáadása (SPARK-25501)
    • Új lehetőség bevezetése a Kafka-forráshoz: időbélyeggel eltolás (kezdő/záró) (SPARK-26848)
    • minPartitions A Kafka batch source and streaming source v1 (SPARK-30656) lehetőségének támogatása
    • A Kafka frissítése a 2.4.1-re (SPARK-31126)
  • Új beépített adatforrások

Funkciók fejlesztései

Az SQL kompatibilitási fejlesztései

  • Váltás Proleptikus Gergely-naptárra (SPARK-26651)
  • A Spark saját datetime-mintadefiníciójának létrehozása (SPARK-31408)
  • ANSI-tároló-hozzárendelési szabályzat bevezetése táblabeszúráshoz (SPARK-28495)
  • Kövesse az ANSI-tároló hozzárendelési szabályát alapértelmezés szerint a táblázat beszúrásában (SPARK-28885)
  • SQLConf spark.sql.ansi.enabled hozzáadása (SPARK-28989)
  • ANSI SQL-szűrő záradék támogatása összesítő kifejezéshez (SPARK-27986)
  • ANSI SQL-függvény OVERLAY támogatása (SPARK-28077)
  • Az ANSI beágyazott zárójeles megjegyzéseinek támogatása (SPARK-28880)
  • Kivétel dobása egész számok túlcsordulása esetén (SPARK-26218)
  • Túlcsordulás ellenőrzése intervallum-aritmetikai műveletekhez (SPARK-30341)
  • Kivétel kiosztása, ha érvénytelen sztringet ad numerikus típusba (SPARK-30292)
  • Az intervallumszorzás és az osztás túlcsordulási viselkedésének konzisztenssé tétele más műveletekkel (SPARK-30919)
  • ANSI-típus aliasok hozzáadása karakterhez és decimálishoz (SPARK-29941)
  • Az SQL Parser ANSI-kompatibilis fenntartott kulcsszavakat definiál (SPARK-26215)
  • Fenntartott kulcsszavak tiltása azonosítóként, ha az ANSI mód be van kapcsolva (SPARK-26976)
  • AZ ANSI SQL LIKE ... ESCAPE szintaxisának támogatása (SPARK-28083)
  • Az ANSI SQL Logikai predikátum szintaxisának támogatása (SPARK-27924)
  • Jobb támogatás a korrelált subquery-feldolgozáshoz (SPARK-18455)

Monitorozási és hibakeresési fejlesztések

  • Új strukturált streamelési felhasználói felület (SPARK-29543)
  • SHS: Streamelési alkalmazások futtatásának eseménynaplóinak engedélyezése (SPARK-28594)
  • Adjon hozzá egy API-t, amely lehetővé teszi a felhasználó számára, hogy tetszőleges metrikákat definiáljon és megfigyeljen kötegelt és streamelési lekérdezéseken (SPARK-29345)
  • Rendszerezés a lekérdezésenkénti tervezési idő nyomon követéséhez (SPARK-26129)
  • Az alapvető shuffle-metrikák elhelyezése az SQL Exchange-operátorban (SPARK-26139)
  • Az SQL-utasítás a hívási pont helyett az SQL Tabon jelenik meg (SPARK-27045)
  • Elemleírás hozzáadása a SparkUI-hoz (SPARK-29449)
  • Az előzménykiszolgáló egyidejű teljesítményének javítása (SPARK-29043)
  • EXPLAIN FORMATTED parancs (SPARK-27395)
  • Csonkolt csomagok és fájlhoz létrehozott kód (SPARK-26023) támogatása
  • A lekérdezés kimenetének leírására szolgáló keretrendszer továbbfejlesztése (SPARK-26982)
  • Parancs hozzáadása SHOW VIEWS (SPARK-31113)
  • Az SQL-elemző hibaüzeneteinek javítása (SPARK-27901)
  • A Prometheus natív monitorozásának támogatása (SPARK-29429)

PySpark-fejlesztések

  • Újratervezett pandas UDF-ek típustippekkel (SPARK-28264)
  • Pandas UDF-folyamat (SPARK-26412)
  • A StructType támogatása argumentumként és visszatérési típusként a Scalar Pandas UDF-hez (SPARK-27240 )
  • Dataframe Cogroup támogatása Pandas UDF-eken keresztül (SPARK-27463)
  • Hozzáadás mapInPandas a DataFrames iterátorának engedélyezéséhez (SPARK-28198)
  • Egyes SQL-függvények oszlopneveket is használnak (SPARK-26979)
  • PySpark SQL-kivételek további pythonikussá tétele (SPARK-31849)

Dokumentáció és tesztelési lefedettség fejlesztései

  • SQL-referencia létrehozása (SPARK-28588)
  • Felhasználói útmutató létrehozása a WebUI-hoz (SPARK-28372)
  • Az SQL-konfiguráció dokumentációjának (SPARK-30510) készítése
  • Verzióinformációk hozzáadása a Spark-konfigurációhoz (SPARK-30839)
  • Portregressziós tesztek a PostgreSQL-ből (SPARK-27763)
  • Thrift-server tesztlefedettség (SPARK-28608)
  • UDF-ek (python UDF, pandas UDF, scala UDF) tesztelése (SPARK-27921)

Egyéb jelentős változások

  • A Hive beépített végrehajtási frissítése 1.2.1-ről 2.3.6-ra (SPARK-23710, SPARK-28723, SPARK-31381)
  • Apache Hive 2.3-függőség használata alapértelmezés szerint (SPARK-30034)
  • GA Scala 2.12 és remove 2.11 (SPARK-26132)
  • A végrehajtók dinamikus lefoglalásban való időzítésének logikájának fejlesztése (SPARK-20286)
  • Az shuffle szolgáltatás által kiszolgált lemezmegőrzött RDD-blokkok, amelyeket figyelmen kívül hagy a dinamikus lefoglalás (SPARK-27677)
  • Új végrehajtók beszerzése a letiltás miatti lefagyás elkerülése érdekében (SPARK-22148)
  • A Netty memóriakészlet-kiosztóinak megosztásának engedélyezése (SPARK-24920)
  • Holtpont javítása és UnsafeExternalSorter$SpillableIterator (TaskMemoryManagerSPARK-27338)
  • Api-k bevezetése AdmissionControl a StructuredStreaminghez (SPARK-30669)
  • A Spark-előzmények főoldali teljesítményének javítása (SPARK-25973)
  • A metrika-összesítés felgyorsítása és karcsúsítása az SQL-figyelőben (SPARK-29562)
  • Kerülje a hálózatot, ha a rendszer ugyanabból a gazdagépről (SPARK-27651) olvassa be az shuffle blokkokat
  • A (SPARK-27801) fájllistáinak javítása DistributedFileSystem

A Spark Core, a Spark SQL és a strukturált streamelés viselkedési változásai

Az alábbi migrálási útmutatók az Apache Spark 2.4 és 3.0 közötti viselkedésváltozásokat sorolják fel. Ezekhez a módosításokhoz szükség lehet az alacsonyabb Databricks Runtime-verziókon futó feladatok frissítésére:

A következő viselkedésbeli változásokra nem vonatkoznak a migrálási útmutatók:

  • A Spark 3.0-ban az elavult osztály org.apache.spark.sql.streaming.ProcessingTime el lett távolítva. A org.apache.spark.sql.streaming.Trigger.ProcessingTime használható helyette. Hasonlóképpen el org.apache.spark.sql.execution.streaming.continuous.ContinuousTrigger lett távolítva Trigger.Continuous, és org.apache.spark.sql.execution.streaming.OneTimeTrigger el lett rejtve a javára Trigger.Once. (SPARK-28199)
  • A Databricks Runtime 7.0-ban a Hive SerDe-tábla olvasásakor a Spark alapértelmezés szerint letiltja a fájlok olvasását egy olyan alkönyvtárban, amely nem táblapartíció. Az engedélyezéshez állítsa be a konfigurációt spark.databricks.io.hive.scanNonpartitionedDirectory.enabled a következőként true: . Ez nincs hatással a Spark natív táblázatolvasóira és fájlolvasóira.

MLlib

Legfontosabb tudnivalók

  • Több oszlop támogatása lett hozzáadva a Binarizerhez (SPARK-23578), a StringIndexerhez (SPARK-11215), a StopWordsRemoverhez (SPARK-29808) és a PySpark QuantileDiscretizerhez (SPARK-22796)
  • Faalapú funkcióátalakítás támogatása (SPARK-13677)
  • Két új értékelő multilabelClassificationEvaluator (SPARK-16692) és RankingEvaluator (SPARK-28045) lett hozzáadva
  • Mintasúlyok támogatása a DecisionTreeClassifier/Regressor (SPARK-19591), RandomForestClassifier/Regressor (SPARK-9478), GBTClassifier/Regressor (SPARK-9612), RegresszióEvaluator (SPARK) -24102), BinaryClassificationEvaluator (SPARK-24103), BisectingKMeans (SPARK-30351), KMeans (SPARK-29967) és GaussianMixture (SPARK-30102)
  • R API-t adtak hozzá a PowerIterationClusteringhez (SPARK-19827)
  • Spark ML-figyelő hozzáadva az ML-folyamat állapotának nyomon követéséhez (SPARK-23674)
  • Az érvényesítési csoporttal való illeszkedés hozzáadva a Python színátmenettel megnövelt fákhoz (SPARK-24333)
  • RobustScaler transzformátor lett hozzáadva (SPARK-28399)
  • Factorization Machines osztályozó és regresszor lett hozzáadva (SPARK-29224)
  • Gaussian Naive Bayes (SPARK-16872) és Complement Naive Bayes (SPARK-29942) lett hozzáadva
  • ML-függvény paritása a Scala és a Python között (SPARK-28958)
  • A predictRaw az összes besorolási modellben nyilvánossá vált. a predictProbability a LinearSVCModel (SPARK-30358) kivételével az összes besorolási modellben nyilvánossá vált

MLlib viselkedésváltozásai

Az alábbi migrálási útmutató az Apache Spark 2.4 és 3.0 közötti viselkedésváltozásokat sorolja fel. Ezekhez a módosításokhoz szükség lehet az alacsonyabb Databricks Runtime-verziókon futó feladatok frissítésére:

A migrálási útmutató nem tartalmazza a következő viselkedésváltozásokat:

  • A Spark 3.0-ban a Pyspark többosztályos logisztikai regressziója most (helyesen) ad vissza LogisticRegressionSummary, nem pedig az alosztály BinaryLogisticRegressionSummary. Az általuk BinaryLogisticRegressionSummary közzétett további módszerek ebben az esetben egyébként sem működnek. (SPARK-31681)
  •  A Spark 3.0-ban a pyspark.ml.param.shared.Has* mixinek már nem biztosítanak set*(self, value) beállítómetszetet, hanem a megfelelőt self.set(self.*, value) használják. Részletekért lásd a SPARK-29093-at. (SPARK-29093)

SparkR

  • Nyíloptimalizálás a SparkR együttműködésében (SPARK-26759)
  • Teljesítménynövelés vektoros R gapply(), dapply(), createDataFrame, collect()
  • "Lelkes végrehajtás" az R shellhez, IDE (SPARK-24572)
  • R API power iteration clusteringhez (SPARK-19827)

A SparkR viselkedési változásai

Az alábbi migrálási útmutató az Apache Spark 2.4 és 3.0 közötti viselkedésváltozásokat sorolja fel. Ezekhez a módosításokhoz szükség lehet az alacsonyabb Databricks Runtime-verziókon futó feladatok frissítésére:

Elavult funkciók

Ismert problémák

  • Az év napjának elemzése a "D" mintabetűvel helytelen eredményt ad vissza, ha hiányzik az év mezője. Ez olyan SQL-függvényekben fordulhat elő, mint a to_timestamp datetime sztring és a datetime értékek elemzése egy mintasztring használatával. (SPARK-31939)
  • Ha a kulcsok értéke -0,0 és 0,0, akkor az allekérdezéseken belüli illesztés/ablak/összesítés helytelen eredményhez vezethet. (SPARK-31958)
  • Előfordulhat, hogy egy ablak lekérdezése nem egyértelmű öncsatlakozási hibával meghiúsul váratlanul. (SPARK-31956)
  • Előfordulhat, hogy az operátorral rendelkező dropDuplicates streamlekérdezések nem fognak tudni újraindulni a Spark 2.x által írt ellenőrzőponttal. (SPARK-31990)

Karbantartási frissítések

Lásd a Databricks Runtime 7.0 karbantartási frissítéseit.

Rendszerkörnyezet

  • Operációs rendszer: Ubuntu 18.04.4 LTS
  • Java: 1.8.0_252
  • Scala: 2.12.10
  • Python: 3.7.5
  • R: R 3.6.3-es verzió (2020-02-29)
  • Delta Lake 0.7.0

Telepített Python-kódtárak

Könyvtár Verzió Könyvtár Verzió Könyvtár Verzió
asn1crypto 1.3.0 backcall 0.1.0 boto3 1.12.0
botocore 1.15.0 minősítés 2020.4.5 cffi 1.14.0
karakterkészlet 3.0.4 kriptográfia 2.8 biciklista 0.10.0
Cython 0.29.15 lakberendező 4.4.1 docutils 0.15.2
belépési pontok 0.3 idna 2.8 ipykernel 5.1.4
ipython 7.12.0 ipython-genutils 0.2.0 jedi 0.14.1
jmespath 0.9.4 joblib 0.14.1 jupyter-client 5.3.4
jupyter-core 4.6.1 kiwisolver 1.1.0 matplotlib 3.1.3
numpy 1.18.1 pandas 1.0.1 parso 0.5.2
Patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
mag 20.0.2 prompt-toolkit 3.0.3 psycopg2 2.8.4
ptyprocess 0.6.0 pyarrow 0.15.1 pycparser 2.19
Pygments 2.5.2 PyGObject 3.26.1 pyOpenSSL 19.1.0
pyparsing 2.4.6 PySocks 1.7.1 python-apt 1.6.5+ubuntu0.3
python-dateutil 2.8.1 pytz 2019.3 pyzmq 18.1.1
kérelmek 2.22.0 s3transfer 0.3.3 scikit-learn 0.22.1
scipy 1.4.1 tengeri 0.10.0 setuptools 45.2.0
Hat 1.14.0 ssh-import-id 5.7 statsmodels 0.11.0
tornádó 6.0.3 árulók 4.3.3 felügyelet nélküli frissítések 0,1
urllib3 1.25.8 virtualenv 16.7.10 wcwidth 0.1.8
kerék 0.34.2

Telepített R-kódtárak

Az R-kódtárak a Microsoft CRAN-pillanatképből vannak telepítve 2020.04.22-én.

Könyvtár Verzió Könyvtár Verzió Könyvtár Verzió
askpass 1,1 assertthat 0.2.1 backports 1.1.6
alap 3.6.3 base64enc 0.1-3 BH 1.72.0-3
bit 1.1-15.2 bit64 0.9-7 blob 1.2.1
indítás 1.3-25 főz 1.0-6 seprű 0.5.6
hívó 3.4.3 kalap 6.0-86 cellranger 1.1.0
chron 2.3-55 osztály 7.3-17 Cli 2.0.2
clipr 0.7.0 fürt 2.1.0 kódtoolok 0.2-16
színtér 1.4-1 commonmark 1,7 fordítóprogram 3.6.3
config 0.3 covr 3.5.0 zsírkréta 1.3.4
Ellenvélemények 1.1.0.1 csavarodik 4.3 data.table 1.12.8
adatkészletek 3.6.3 DBI 1.1.0 dbplyr 1.4.3
Desc 1.2.0 devtools 2.3.0 emészt 0.6.25
dplyr 0.8.5 DT 0,13 három pont 0.3.0
evaluate 0,14 fani 0.4.1 farver 2.0.3
gyorstérkép 1.0.1 forcats 0.5.0 foreach 1.5.0
külföldi 0.8-76 kovácsol 0.2.0 Fs 1.4.1
Generikus 0.0.2 ggplot2 3.3.0 Gh 1.1.0
git2r 0.26.1 glmnet 3.0-2 globális 0.12.5
ragasztó 1.4.0 Gower 0.2.1 grafika 3.6.3
grDevices 3.6.3 rács 3.6.3 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 kikötő 2.2.0
highr 0,8 Hms 0.5.3 htmltoolok 0.4.0
htmlwidgets 1.5.1 httpuv 1.5.2 httr 1.4.1
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 izoband 0.2.1 iterátorok 1.0.12
jsonlite 1.6.1 KernSmooth 2.23-17 knitr 1.28
címkézés 0.3 később 1.0.0 rács 0.20-41
láva 1.6.7 lazyeval 0.2.2 életciklus 0.2.0
lubridate 1.7.8 magrittr 1,5 markdown 1,1
TÖMEG 7.3-51.6 Mátrix 1.2-18 memoise 1.1.0
metódusok 3.6.3 mgcv 1.8-31 MIME 0,9
ModelMetrics 1.2.2.2 modellező 0.1.6 munsell 0.5.0
nlme 3.1-147 nnet 7.3-14 numDeriv 2016.8-1.1
openssl 1.4.1 parallel 3.6.3 pillér 1.4.3
pkgbuild 1.0.6 pkgconfig 2.0.3 pkgload 1.0.2
plogr 0.2.0 rétegelt 1.8.6 dicséret 1.0.0
prettyunits 1.1.1 Proc 1.16.2 processx 3.4.2
prodlim 2019.11.13 haladás 1.2.2 Ígér 1.1.0
Proto 1.0.0 Ps 1.3.2 purrr 0.3.4
r2d3 0.2.3 R6 2.4.1 randomForest 4.6-14
rappdirs 0.3.1 rcmdcheck 1.3.3 RColorBrewer 1.1-2
Rcpp 1.0.4.6 olvasó 1.3.1 readxl 1.3.1
receptek 0.1.10 Visszavágót 1.0.1 visszavágó2 2.1.1
Távirányító 2.1.1 reprex 0.3.0 újraformázás2 1.4.4
Rex 1.2.0 rjson 0.2.20 rlang 0.4.5
rmarkdown 2.1 RODBC 1.3-16 roxygen2 7.1.0
rpart 4.1-15 rprojroot 1.3-2 Rserve 1.8-6
RSQLite 2.2.0 rstudioapi 0,11 rversions 2.0.1
rvest 0.3.5 mérleg 1.1.0 választó 0.4-2
sessioninfo 1.1.1 alak 1.4.4 Fényes 1.4.0.2
sourcetools 0.1.7 sparklyr 1.2.0 SparkR 3.0.0
térbeli 7.3-11 splines 3.6.3 sqldf 0.4-11
NÉGYZET 2020.2 statisztika 3.6.3 statisztikák4 3.6.3
stringi 1.4.6 sztring 1.4.0 túlélés 3.1-12
sys 3.3 tcltk 3.6.3 TeachingDemos 2.10
testthat 2.3.2 tibble 3.0.1 tidyr 1.0.2
tidyselect 1.0.0 tidyverse 1.3.0 timeDate 3043.102
tinytex 0,22 eszközök 3.6.3 usethis 1.6.0
utf8 1.1.4 eszközök 3.6.3 vctrs 0.2.4
viridisLite 0.3.0 bajusz 0,4 withr 2.2.0
xfun 0,13 xml2 1.3.1 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1

Telepített Java- és Scala-kódtárak (Scala 2.12-fürtverzió)

Csoportazonosító Összetevő azonosítója Verzió
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics patak 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml osztálytárs 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.koffein koffein 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natívok 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natívok 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.4-3
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava gujávafa 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.sqlserver mssql-jdbc 8.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.8.3
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1,2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2,4
commons-lang commons-lang 2.6
commons-naplózás commons-naplózás 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.dropwizard.metrics metrikamag 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.47.Final
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktiválás 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.12.0
net.snowflake spark-snowflake_2.12 2.5.9-spark_2.4
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.7.1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow nyílformátum 0.15.1
org.apache.arrow nyíl-memória 0.15.1
org.apache.arrow nyíl-vektor 0.15.1
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.8.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.9
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator kurátor-ügyfél 2.7.1
org.apache.curator kurátor-keretrendszer 2.7.1
org.apache.curator kurátor-receptek 2.7.1
org.apache.derby keménykalap 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-metastore 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.1
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-inkubálás
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy borostyán 2.4.0
org.apache.orc orc-core 1.5.10
org.apache.orc orc-mapreduce 1.5.10
org.apache.orc orc-shims 1.5.10
org.apache.parquet parquet-column 1.10.1.2-databricks4
org.apache.parquet parquet-common 1.10.1.2-databricks4
org.apache.parquet parquet-kódolás 1.10.1.2-databricks4
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1.2-databricks4
org.apache.parquet parquet-jackson 1.10.1.2-databricks4
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity sebesség 1,5
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus célközönség-széljegyzetek 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.18.v20190429
org.eclipse.jetty móló-folytatás 9.4.18.v20190429
org.eclipse.jetty jetty-http 9.4.18.v20190429
org.eclipse.jetty jetty-io 9.4.18.v20190429
org.eclipse.jetty jetty-jndi 9.4.18.v20190429
org.eclipse.jetty móló plusz 9.4.18.v20190429
org.eclipse.jetty jetty-proxy 9.4.18.v20190429
org.eclipse.jetty jetty-security 9.4.18.v20190429
org.eclipse.jetty jetty-server 9.4.18.v20190429
org.eclipse.jetty jetty-servlet 9.4.18.v20190429
org.eclipse.jetty jetty-servlets 9.4.18.v20190429
org.eclipse.jetty jetty-util 9.4.18.v20190429
org.eclipse.jetty jetty-webapp 9.4.18.v20190429
org.eclipse.jetty jetty-xml 9.4.18.v20190429
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-lokátor 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Végleges
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.6.6
org.json4s json4s-core_2.12 3.6.6
org.json4s json4s-jackson_2.12 3.6.6
org.json4s json4s-scalap_2.12 3.6.6
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.1.2
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.7.45
org.roaringbitmap Alátéteket 0.7.45
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt teszt-interfész 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark Használatlan 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework rugós teszt 4.1.4.RELEASE
org.threeten három-extra 1.5.0
org.tukaani xz 1,5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel makró-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.7.5
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0,52