Sdílet prostřednictvím

Databricks Runtime 4.2 (EoS)

  • Článek

Poznámka:

Podpora této verze Databricks Runtime skončila. Datum ukončení podpory najdete v tématu Historie ukončení podpory. Všechny podporované verze databricks Runtime najdete v poznámkách k verzi Databricks Runtime a kompatibilitu.

Databricks vydala tuto verzi v červenci 2018.

Důležité

Tato verze byla vyřazena 5. března 2019. Další informace o zásadách vyřazení databricks Runtime a plánu najdete v tématu Životní cyklus podpory Databricks.

Následující poznámky k verzi obsahují informace o modulu Databricks Runtime 4.2, který využívá Apache Spark.

Delta Lake

Databricks Runtime 4.2 přidává do Delta Lake významná vylepšení a funkce pro zvýšení kvality. Databricks důrazně doporučuje, aby všichni zákazníci Delta Lake upgradovali na nový modul runtime. Tato verze zůstává ve verzi Private Preview, ale představuje kandidátské vydání v očekávání nadcházející verze obecné dostupnosti (GA).

Nové funkce

  • Streamy se teď dají přímo zapisovat do tabulky Delta zaregistrované v metastoru Hive pomocí df.writeStream.table(...).

Vylepšení

  • Všechny příkazy a dotazy Delta Lake teď podporují odkazy na tabulku s použitím jeho cesty jako identifikátoru:

    delta.`<path-to-table>`

    OPTIMIZE Dříve a VACUUM vyžadovaly nestandardní použití řetězcových literálů (to znamená '<path-to-table>').

  • DESCRIBE HISTORY teď obsahuje ID potvrzení a ve výchozím nastavení je seřazené od nejnovějších po nejstarší.

Opravy chyb

  • Filtrování na základě predikátů oddílů teď funguje správně, i když se případ predikátů liší od případu tabulky.
  • Opravili jsme chybějící sloupec AnalysisException při provádění kontrol rovnosti u logických sloupců v tabulkách Delta (to znamená booleanValue = true).
  • CREATE TABLE již při vytváření ukazatele na existující tabulku neupravuje transakční protokol. Zabráníte tak zbytečným konfliktům se souběžnými datovými proudy a umožníte vytvořit ukazatel metastoru na tabulky, kde má uživatel k datům přístup jen pro čtení.
  • Volání display() datového proudu s velkým množstvím dat už v ovladači nezpůsobí OOM.
  • AnalysisException je teď vyvolán, když se odstraní podkladová cesta Delta Lake, a nevrací prázdné výsledky.
  • Konfigurace Delta Lake, které vyžadují konkrétní verzi protokolu (například appendOnly) je možné použít pouze u tabulek v příslušné verzi.
  • Při aktualizaci stavu tabulky Delta jsou nyní dlouhé rodokmeny automaticky zkráceny, aby se zabránilo StackOverFlowError.

Strukturované streamování

Nové funkce

  • Delta Lake a Kafka teď plně podporují Trigger.Once. Dříve zadané limity četnosti (například maxOffsetsPerTrigger maxFilesPerTrigger) jako možnosti zdroje nebo výchozí hodnoty mohly vést pouze k částečnému spuštění dostupných dat. Tyto možnosti se teď při použití ignorují Trigger.Once a umožňují zpracování všech aktuálně dostupných dat.

  • Přidali jsme nové streamování foreachBatch() v jazyce Scala, kde můžete definovat funkci pro zpracování výstupu každého mikrobatchu pomocí operací datového rámce. To umožňuje následující:

    • Použití existujících dávkových zdrojů dat k zápisu výstupů mikrobatch do systémů, které ještě nemají streamovaný zdroj dat (například použijte dávkové zapisovače Cassandra na každém výstupu micro-batch).
    • Zápis výstupu mikrobatchu do více umístění
    • Použití operací datových rámců a tabulek na výstupech mikrobatch, které ještě nejsou podporovány ve streamovaných datových rámcích (například upsert microbatch output into a Delta table).

  • Přidání from_avro/to_avro funkcí pro čtení a zápis dat Avro v rámci datového rámce místo jen souborů, podobně jako from_json/to_json. Další podrobnosti najdete v tématu Čtení a zápis dat Avro Anywhere .

  • Přidání podpory streamování foreach() v Pythonu (už je k dispozici v jazyce Scala). Další podrobnosti najdete v dokumentaci foreach a foreachBatch.

Vylepšení

  • Rychlejší generování výsledků výstupu nebo vyčištění stavu pomocí stavových operací (mapGroupsWithStatepřipojení streamu, agregace streamování, odstranění duplicitních dat) v případě, že vstupní datový proud neobsahuje žádná data.

Opravy chyb

  • Oprava chyby správnosti SPARK-24588 ve spojení stream-stream, kdy spojení hlásilo méně výsledků, když je před ní explicitní změna rozdělení (například df1.repartition("a", "b").join(df, "a")).

Další změny a vylepšení

  • Přidání podpory pro příkaz Odepření SQL pro clustery s povoleným řízením přístupu k tabulce Uživatelé teď můžou konkrétní oprávnění odepřít stejným způsobem, jakým můžou být uděleni dříve. Odepřené oprávnění nahradí udělené oprávnění. Správci a vlastníci konkrétního objektu stále mohou provádět akce.
  • Nový zdroj dat Azure Data Lake Storage Gen2, který používá ovladač ABFS. Viz Připojení ke službě Azure Data Lake Storage Gen2 a Blob Storage
  • Upgradovali jste některé nainstalované knihovny Pythonu:
    • pip: od 10.0.0b2 do 10.0.1
    • instalační nástroje: od 39.0.1 do 39.2.0
    • tornado: 5.0.1 až 5.0.2
    • kolo: 0.31.0 až 0.31.1
  • Upgradovali jsme několik nainstalovaných knihoven R. Viz nainstalované knihovny jazyka R.
  • Vylepšená podpora Parquet
  • Upgrade Apache ORC z verze 1.4.1 na verzi 1.4.3

Apache Spark

Databricks Runtime 4.2 zahrnuje Apache Spark 2.3.1. Tato verze zahrnuje všechny opravy a vylepšení zahrnutá v Databricks Runtime 4.1 (EoS) a také následující další opravy chyb a vylepšení Sparku:

  • [SPARK-24588]Připojení ke streamování [SS] by mělo vyžadovat hashClusteredPartitioning z podřízených položek.
  • [SPARK-23931][SQL] Make arrays_zip in function.scala @scala.annotation.varargs.
  • [SPARK-24633][SQL] Oprava codegenu při vyžadování rozdělení pro arrays_zip
  • [SPARK-24578][JÁDRO] Velikost vrácené vyrovnávací paměti nio cap sub-region
  • [SPARK-24613][SQL] Mezipaměť s UDF se nedá spárovat s následnými závislými mezipaměťmi.
  • [SPARK-24583][SQL] Nesprávný typ schématu v insertIntoDataSourceCommand
  • [SPARK-24565][SS] Přidání rozhraní API pro strukturované streamování pro zveřejnění výstupních řádků jednotlivých mikrobatch jako datového rámce
  • [SPARK-24396][SS] [PYSPARK] Přidání strukturovaného streamování foreachWriter pro Python
  • [SPARK-24216][SQL] Spark TypedAggregateExpression používá rutinu getSimpleName, která není v jazyce Scala bezpečná.
  • [SPARK-24452][SQL] [JÁDRO] Vyhněte se možnému přetečení v přidání int nebo více
  • [SPARK-24187][R] [SQL] Přidání funkce array_join do SparkR
  • [SPARK-24525][SS] Zadejte možnost omezení počtu řádků v nástroji MemorySink.
  • [SPARK-24331][SPARKR] [SQL] Přidání arrays_overlap, array_repeat, map_entries do SparkR
  • [SPARK-23931][SQL] Přidá funkci arrays_zip do Spark SQL.
  • [SPARK-24186][R] [SQL] Změna zpětné a zřetězení na funkce kolekce v jazyce R
  • [SPARK-24198][SPARKR] [SQL] Přidání funkce řezu do SparkR
  • [SPARK-23920][SQL] Přidání array_remove pro odebrání všech prvků, které se rovnají prvku z pole
  • [SPARK-24197][SPARKR] [SQL] Přidání funkce array_sort do SparkR
  • [SPARK-24340][JÁDRO] Vyčištění souborů správce blokových bloků disků bez náhodného zachytání po ukončení exekutoru v samostatném clusteru
  • [SPARK-23935][SQL] Přidání funkce map_entries
  • [SPARK-24500][SQL] Ujistěte se, že se streamy během transformací stromové struktury materializují.
  • [SPARK-24495][SQL] Při přeuspořádání stejných klíčů se vrátí nesprávný plán.
  • [SPARK-24506][UŽIVATELSKÉ ROZHRANÍ] Přidání filtrů uživatelského rozhraní na karty přidané po vazbě
  • [SPARK-24468][SQL] Zpracování záporného měřítka při úpravě přesnosti pro desetinné operace
  • [SPARK-24313][SQL] Oprava interpretovaného vyhodnocení operací shromažďování pro komplexní typy
  • [SPARK-23922][SQL] Přidání funkce arrays_overlap
  • [SPARK-24369][SQL] Správné zpracování více různých agregací se stejnou sadou argumentů
  • [SPARK-24455][CORE] Oprava překlepu v komentáři TaskSchedulerImpl
  • [SPARK-24397][PYSPARK] Přidání TaskContext.getLocalProperty(key) v Pythonu
  • [SPARK-24117][SQL] Sjednocené getSizePerRow
  • [SPARK-24156][SS] Oprava chyby zotavení po selhání v dávce bez dat
  • [SPARK-24414][UŽIVATELSKÉ ROZHRANÍ] Vypočítejte správný počet úkolů pro určitou fázi.
  • [SPARK-23754][PYTHON] Opětovné vyvolání zastavení v kódu klienta
  • [SPARK-23991][DSTREAMS] Oprava ztráty dat při selhání zápisu WAL v allocateBlocksToBatch
  • [SPARK-24373][SQL] Přidání analysisBarrieru do podřízené sady RelationalGroupedDataset a KeyValueGroupedDataset
  • [SPARK-24392][PYTHON] Popisek pandas_udf jako experimentální
  • [SPARK-24334] Oprava stavu časování v ArrowPythonRunner způsobuje nečisté vypnutí alokátoru paměti šipky
  • [SPARK-19112][JÁDRO] Do konfigurace přidejte chybějící shortCompressionCodecNames.
  • [SPARK-24244][SPARK-24368][SQL] Předání jenom požadovaných sloupců do analyzátoru CSV
  • [SPARK-24366][SQL] Vylepšení chybových zpráv pro převod typu
  • [SPARK-24371][SQL] Přidání isInCollection v rozhraní DATAFrame API pro Scala an...
  • [SPARK-23925][SQL] Přidání funkce kolekce array_repeat
  • [PODVERZE] Přidání konfigurace SSL portu v toString a scaladoc
  • [SPARK-24378][SQL] Oprava nesprávných příkladů funkce date_trunc
  • [SPARK-24364][SS] Zabránění selhání inMemoryFileIndex, pokud neexistuje cesta k souboru
  • [SPARK-24257][SQL] Hodnota LongToUnsafeRowMap vypočítá novou velikost může být nesprávná.
  • [SPARK-24348]Oprava chyby [SQL] element_at"
  • [SPARK-23930][SQL] Přidání funkce řezu
  • [SPARK-23416][SS] Přidejte konkrétní metodu zastavení pro ContinuousExecution.
  • [SPARK-23852][SQL] Upgrade na Parquet 1.8.3
  • [SPARK-24350][SQL] Oprava třídyCastException ve funkci "array_position"
  • [SPARK-24321][SQL] Extrahování společného kódu z dělení/zbytku do základní vlastnosti
  • [SPARK-24309][JÁDRO] AsyncEventQueue by se měl zastavit při přerušení.
  • [SPARK-23850][SQL] Přidejte samostatnou konfiguraci pro redakci možností SQL.
  • [SPARK-22371][JÁDRO] Místo vyvolání výjimky při uvolňování paměti vrátí hodnotu Žádná.
  • [SPARK-24002][SQL] Úloha není serializovatelná způsobená org.apache.parquet.io.api.Binary$ByteBufferBackedBinary.getBytes
  • [SPARK-23921][SQL] Přidání funkce array_sort
  • [SPARK-23923][SQL] Přidání funkce kardinality
  • [SPARK-24159][SS] Povolení mikro dávek bez dat pro streamování mapGroupswithState
  • [SPARK-24158][SS] Povolení datových dávek pro připojení ke streamování
  • [SPARK-24157][SS] Povolení dávek bez dat v MicroBatchExecution pro agregaci streamování a odstranění duplicitních dat
  • [SPARK-23799][SQL] FilterEstimation.evaluateInSet vytváří nesprávné statistiky pro STRING.
  • [SPARK-17916][SQL] Oprava analýzy prázdného řetězce jako null, pokud je nastavena hodnota nullValue.
  • [SPARK-23916][SQL] Přidání funkce array_join
  • [SPARK-23408][SS] Synchronizace následných akcí AddData v Streaming*JoinSuite
  • [SPARK-23780][R] Nepovedlo se použít knihovnu googleVis s novým SparkR
  • [SPARK-23821][SQL] Funkce kolekce: zploštěná
  • [SPARK-23627][SQL] Zadání isEmpty v datové sadě
  • [SPARK-24027][SQL] Podpora MapType s typem StringType pro klíče jako kořenového typu podle from_json
  • [SPARK-24035][SQL] Syntaxe SQL pro Pivot – oprava upozornění antlru
  • [SPARK-23736][SQL] Rozšíření funkce zřetězení pro podporu sloupců polí
  • [SPARK-24246][SQL] Vylepšení analýzyException nastavením příčiny, když je k dispozici
  • [SPARK-24263][R] SparkR java zkontroluje konce pomocí openjdku.
  • [SPARK-24262][PYTHON] Oprava překlepu v chybové zprávě typu UDF
  • [SPARK-24067][STREAMOVÁNÍ] [KAFKA] Povolit po sobě jdoucí posuny
  • [SPARK-10878][JÁDRO] Oprava stavu časování, když několik klientů vyřeší artefakty najednou
  • [SPARK-19181][JÁDRO] Oprava flaky "SparkListenerSuite.local metrics"
  • [SPARK-24068]Šíření možností třídy DataFrameReader do textového zdroje dat na základě odvození schématu
  • [SPARK-24214][SS] Oprava toJSON pro StreamingRelationV2/StreamingExecutionRelation/ContinuousExecutionRelation
  • [SPARK-23919][SPARK-23924][SPARK-24054][SQL] Přidání funkce array_position/element_at
  • [SPARK-23926][SQL] Rozšíření zpětné funkce pro podporu argumentů ArrayType
  • [SPARK-23809][SQL] Aktivní SparkSession by měl být nastaven pomocí getOrCreate
  • [SPARK-23094][SPARK-23723][SPARK-23724][SQL] Podpora vlastního kódování pro soubory JSON
  • [SPARK-24035][SQL] Syntaxe SQL pro pivot
  • [SPARK-24069][R] Přidání funkcí array_min / array_max
  • [SPARK-23976][JÁDRO] Detekce přetečení délky v UTF8String.concat()/ByteArray.concat()
  • [SPARK-24188][JÁDRO] Obnovte koncový bod rozhraní API /version.
  • [SPARK-24128][SQL] Možnost konfigurace zmínky v implicitní chybě KŘÍŽOVÉHO SPOJENÍ
  • [SPARK-23291][SQL] [R] Dílčí řetězec jazyka R by neměl při volání rozhraní Scala API snížit počáteční pozici o 1.
  • [SPARK-23697][JÁDRO] LegacyAccumulatorWrapper by měl správně definovat jeZero
  • [SPARK-24168][SQL] WindowExec by neměl přistupovat k SQLConf na straně exekutoru
  • [SPARK-24143]Filtrování prázdných bloků při převodu mapstatu na dvojici (blockId, size)
  • [SPARK-23917][SPARK-23918][SQL] Přidání funkce array_max/array_min
  • [SPARK-23905][SQL] Přidat den v týdnu uDF
  • [SPARK-16406][SQL] Zlepšení výkonu LogicalPlan.resolve
  • [SPARK-24013][SQL] Odebrání nepotřebné komprese v aplikaci ApproximatePercentile
  • [SPARK-23433][JÁDRO] Zpožděné dokončení úkolů zombie aktualizují všechny sady úkolů.
  • [SPARK-24169][SQL] JsonToStructs by neměly přistupovat k SQLConf na straně exekutoru
  • [SPARK-24133][SQL] Backport [SPARK-24133]Kontrola přetečení celých čísel při změně velikosti zapisovatelnýchColumnVectors
  • [SPARK-24166][SQL] InMemoryTableScanExec by neměl přistupovat k SQLConf na straně exekutoru
  • [SPARK-24133][SQL] Kontrola přetečení celého čísla při změně velikosti zapisovatelnýchColumnVectors
  • [SPARK-24085][SQL] Pokud skalární poddotaz existuje ve výrazu dělení, vrátí dotaz nepodporovanou hodnotuOperationException.
  • [SPARK-24062][THRIFT SERVER] Oprava potíží s šifrováním SASL nejde povolit na serveru thrift
  • [SPARK-23004][SS] Ujistěte se, že se stateStore.commit volá pouze jednou v úloze agregace streamování.
  • [SPARK-23188][SQL] Konfigurovat velikost dávky vektorizované čtečky columar
  • [SPARK-23375][SPARK-23973][SQL] Eliminace nepotřebného řazení v optimalizátoru
  • [SPARK-23877][SQL] Použití predikátů filtru k vyřešování oddílů v dotazech pouze na metadata
  • [SPARK-24033][SQL] Oprava neshody zadaného rámce okna(RowFrame, -1, -1)
  • [SPARK-23340][SQL] Upgrade Apache ORC na verzi 1.4.3
  • Opravte problém s chybějící kontrolou null, který je pravděpodobnější aktivací zjednodušeného generování kódu experssion a vystavený spark-23986, protože se generovaný zdrojový kód trochu zkrátil a aktivoval problematickou cestu kódu (kód rozdělený výrazem.reduceCodeSize()).
  • [SPARK-23989][SQL] Výměna by měla kopírovat data před ne serializovaným náhodném prohazování.
  • [SPARK-24021][CORE] Oprava chyby v aktualizaci BlacklistTrackerBlacklistForFetchFailure
  • [SPARK-24014][PYSPARK] Přidání metody onStreamingStarted do StreamListener
  • [SPARK-23963][SQL] Správně zpracovat velký počet sloupců v dotazu na textovou tabulku Hive
  • [SPARK-23948] Aktivace naslouchacího procesu úlohy Mapstage v submitMissingTasks
  • [SPARK-23986][SQL] freshName může generovat ne jedinečné názvy.
  • [SPARK-23835][SQL] Přidání kontroly not-null do deserializace argumentů řazených kolekcí členů

Aktualizace údržby

Viz aktualizace údržby Databricks Runtime 4.2.

Prostředí systému

  • Operační systém: Ubuntu 16.04.4 LTS
  • Java: 1.8.0_162
  • Scala: 2.11.8
  • Python: 2.7.12 pro clustery Python 2 a 3.5.2 pro clustery Python 3.
  • R: R verze 3.4.4 (2018-03-15)
  • Clustery GPU: Nainstalují se následující knihovny NVIDIA GPU:
    • Ovladač Tesla 375.66
    • CUDA 9.0
    • cuDNN 7.0

Nainstalované knihovny Pythonu

Knihovna Verze Knihovna Verze Knihovna Verze
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0.5
boto 2.42.0 boto3 1.4.1 botocore 1.4.70
pivovar2mpl 1.4.1 certifi 2016.2.28 cffi 1.7.0
chardet 2.3.0 colorama 0.3.7 configobj 5.0.6
kryptografie 1.5 cyklista 0.10.0 Cython 0.24.1
dekoratér 4.0.10 docutils 0,14 enum34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
fusepy 2.0.4 budoucnosti 3.2.0 ggplot 0.6.8
html5lib 0,999 idna 2.1 ipaddress 1.0.16
ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1.2
Jinja2 2.8 jmespath 0.9.0 llvmlite 0.13.0
lxml 3.6.4 MarkupSafe 0.23 matplotlib 1.5.3
mpld3 0,2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
numba 0.28.1 numpy 1.11.1 openpyxl 2.3.2
pandas 0.19.2 pathlib2 2.1.0 bábovka 0.4.1
pexpect 4.0.1 pickleshare 0.7.4 Polštář 3.3.1
jádro 10.0.1 dýha 3.9 prompt-toolkit 1.0.7
psycopg2 2.6.2 ptyprocess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2.14
Pygments 2.1.3 PyGObject 3.20.0 pyOpenSSL 16.0.0
pyparsing 2.2.0 pypng 0.0.18 Python 2.7.12
python-dateutil 2.5.3 python-geohash 0.8.5 pytz 2016.6.1
žádosti 2.11.1 s3transfer 0.1.9 scikit-learn 0.18.1
scipy 0.18.1 drhnout 0.32 seaborn 0.7.1
setuptools 39.2.0 simplejson 3.8.2 simples3 1.0
singledispatch 3.4.0.3 Šest 1.10.0 statsmodels 0.6.1
tornádo 5.0.2 vlastnosti 4.3.0 urllib3 1.19.1
virtualenv 15.0.1 wcwidth 0.1.7 kolo 0.31.1
wsgiref 0.1.2

Nainstalované knihovny jazyka R

Knihovna Verze Knihovna Verze Knihovna Verze
abind 1.4-5 assertthat 0.2.0 backporty 1.1.2
base 3.4.4 BH 1.66.0-1 bindr 0.1.1
bindrcpp 0.2.2 bitové 1.1-12 bit64 0.9-7
bitops 1.0-6 blob 1.1.1 startování 1.3-20
vařit 1.0-6 koště 0.4.4 car 3.0-0
carData 3.0-1 caret 6.0-79 cellranger 1.1.0
chron 2.3-52 class 7.3-14 Rozhraní příkazového řádku 1.0.0
cluster 2.0.7-1 codetools 0.2-15 barevný prostor 1.3-2
commonmark 1.4 – kompilátor 3.4.4 pastelka 1.3.4
kudrna 3.2 CVST 0.2-1 data.table 1.10.4-3
Power BI 3.4.4 DBI 0,8 ddalpha 1.3.1.1
DEoptimR 1.0-8 Desc 1.1.1 devtools 1.13.5
dichromat 2.0-0 trávit 0.6.15 dimRed 0.1.0
doMC 1.3.5 dplyr 0.7.4 DRR 0.0.3
forcats 0.3.0 foreach 1.4.4 zahraniční 0.8-70
Gbm 2.1.3 ggplot2 2.2.1 git2r 0.21.0
glmnet 2.0-16 lepidlo 1.2.0 Gower 0.1.2
Grafika 3.4.4 grDevices 3.4.4 mřížka 3.4.4
gsubfn 0,7 gtable 0.2.0 h2o 3.16.0.2
útočiště 1.1.1 Hms 0.4.2 httr 1.3.1
hwriter 1.3.2 hwriterPlus 1.0-3 ipred 0.9-6
Iterátory 1.0.9 jsonlite 1.5 kernlab 0.9-25
KernSmooth 2.23-15 značení 0.3 mříž 0.20-35
láva 1.6.1 lazyeval 0.2.1 menší 0.3.3
lme4 1.1-17 lubridate 1.7.3 magrittr 1.5
mapproj 1.2.6 mapy 3.3.0 maptools 0.9-2
MŠE 7.3-50 Matice 1.2-14 Maticové modely 0.4-1
memoise 1.1.0 metody 3.4.4 mgcv 1.8-24
mim 0.5 minqa 1.2.4 mnormt 1.5-5
ModelMetrics 1.1.0 munsell 0.4.3 mvtnorm 1.0-7
nlme 3.1-137 nloptr 1.0.4 nnet 7.3-12
numDeriv 2016.8-1 openssl 1.0.1 openxlsx 4.0.17
parallel 3.4.4 pbkrtest 0.4-7 pilíř 1.2.1
pkgconfig 2.0.1 pkgKitten 0.1.4 plogr 0.2.0
plyr 1.8.4 chválit 1.0.0 prettyunits 1.0.2
pROC 1.11.0 prodlim 1.6.1 proto 1.0.0
zkratka psychologie 1.8.3.3 purrr 0.2.4 quantreg 5.35
R.methodsS3 1.7.1 R.oo 1.21.0 R.utils 2.6.0
R6 2.2.2 randomForest 4.6-14 RColorBrewer 1.1-2
Rcpp 0.12.16 RcppEigen 0.3.3.4.0 RcppRoll 0.2.2
RCurl 1.95-4.10 readr 1.1.1 readxl 1.0.0
recepty 0.1.2 odvetný zápas 1.0.1 reshape2 1.4.3
Rio 0.5.10 rlang 0.2.0 robustbase 0.92-8
RODBC 1.3-15 roxygen2 6.0.1 rpart 4.1-13
rprojroot 1.3-2 Rserve 1.7-3 RSQLite 2.1.0
rstudioapi 0,7 váhy 0.5.0 sfsmisc 1.1-2
Sp 1.2-7 SparkR 2.3.1 Řídký čas 1.77
prostorový 7.3-11 spline křivky 3.4.4 sqldf 0.4-11
ČTVEREC 2017.10-1 statmod 1.4.30 statistické údaje 3.4.4
Statistiky 4 3.4.4 stringi 1.1.7 stringr 1.3.0
přežití 2.42-3 tcltk 3.4.4 TeachingDemos 2.10
testthat 2.0.0 tibble 1.4.2 tidyr 0.8.0
tidyselect 0.2.4 timeDate 3043.102 tools 3.4.4
utf8 1.1.3 utils 3.4.4 viridisLite 0.3.0
vous 0.3-2 withr 2.1.2 xml2 1.2.0

Nainstalované knihovny Java a Scala (verze clusteru Scala 2.11)

ID skupiny ID artefaktu Verze
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.7.3
com.amazonaws automatické škálování aws-java-sdk 1.11.313
com.amazonaws aws-java-sdk-cloudformation 1.11.313
com.amazonaws aws-java-sdk-cloudfront 1.11.313
com.amazonaws aws-java-sdk-cloudhsm 1.11.313
com.amazonaws aws-java-sdk-cloudsearch 1.11.313
com.amazonaws aws-java-sdk-cloudtrail 1.11.313
com.amazonaws aws-java-sdk-cloudwatch 1.11.313
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.313
com.amazonaws aws-java-sdk-codedeploy 1.11.313
com.amazonaws aws-java-sdk-cognitoidentity 1.11.313
com.amazonaws aws-java-sdk-cognitosync 1.11.313
com.amazonaws aws-java-sdk-config 1.11.313
com.amazonaws aws-java-sdk-core 1.11.313
com.amazonaws aws-java-sdk-datapipeline 1.11.313
com.amazonaws aws-java-sdk-directconnect 1.11.313
com.amazonaws aws-java-sdk-directory 1.11.313
com.amazonaws aws-java-sdk-dynamodb 1.11.313
com.amazonaws aws-java-sdk-ec2 1.11.313
com.amazonaws aws-java-sdk-ecs 1.11.313
com.amazonaws aws-java-sdk-efs 1.11.313
com.amazonaws aws-java-sdk-elasticache 1.11.313
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.313
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.313
com.amazonaws aws-java-sdk-elastictranscoder 1.11.313
com.amazonaws aws-java-sdk-emr 1.11.313
com.amazonaws aws-java-sdk-glacier 1.11.313
com.amazonaws aws-java-sdk-iam 1.11.313
com.amazonaws aws-java-sdk-importexport 1.11.313
com.amazonaws aws-java-sdk-kinesis 1.11.313
com.amazonaws aws-java-sdk-kms 1.11.313
com.amazonaws aws-java-sdk-lambda 1.11.313
com.amazonaws aws-java-sdk-logs 1.11.313
com.amazonaws aws-java-sdk-machinelearning 1.11.313
com.amazonaws aws-java-sdk-opsworks 1.11.313
com.amazonaws aws-java-sdk-rds 1.11.313
com.amazonaws aws-java-sdk-redshift 1.11.313
com.amazonaws aws-java-sdk-route53 1.11.313
com.amazonaws aws-java-sdk-s3 1.11.313
com.amazonaws aws-java-sdk-ses 1.11.313
com.amazonaws aws-java-sdk-simpledb 1.11.313
com.amazonaws aws-java-sdk-simpleworkflow 1.11.313
com.amazonaws aws-java-sdk-sns 1.11.313
com.amazonaws aws-java-sdk-sqs 1.11.313
com.amazonaws aws-java-sdk-ssm 1.11.313
com.amazonaws aws-java-sdk-storagegateway 1.11.313
com.amazonaws aws-java-sdk-sts 1.11.313
com.amazonaws podpora aws-java-sdk-support 1.11.313
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.313
com.amazonaws jmespath-java 1.11.313
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics datový proud 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.4.1-db1-spark2.3
com.databricks dbml-local_2.11-tests 0.4.1-db1-spark2.3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware Kryo-shaded 3.0.3
com.esotericsoftware minlog 1.3.0
com.fasterxml spolužák 1.0.0
com.fasterxml.jackson.core jackson-annotations 2.6.7
com.fasterxml.jackson.core jackson-core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1,1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib nativní native_ref javy 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib nativní native_system javy 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jamesmurty.utils java-xmlbuilder 1,1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.mchange c3p0 0.9.5.1
com.mchange mchange-commons-java 0.2.10
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.11 0.3
com.twitter chill-java 0.8.4
com.twitter chill_2.11 0.8.4
com.twitter parquet-hadoop-bundle 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity univocity-parsers 2.5.9
com.vlkan flatbuffers 1.2.0-3f79e055
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.7.0
commons-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1,10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2,4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 2,2
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift aircompressor 0,8
io.dropwizard.metrics metriky – jádro 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrics-graphite 3.1.5
io.dropwizard.metrics metriky – kontroly stavu 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics metrics-jvm 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics metriky – servlety 3.1.5
io.netty netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometheus simpleclient 0.0.16
io.prometheus simpleclient_common 0.0.16
io.prometheus simpleclient_dropwizard 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx sběratel 0,7
javax.activation aktivace 1.1.1
javax.annotation javax.annotation-api 1.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1,1
javax.validation validation-api 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.11
joda-time joda-time 2.9.3
log4j apache-log4j-extra 1.2.17
log4j log4j 1.2.17
net.hydromatic eigenbase-properties 1.1.5
net.iharder base64 2.3.8
net.java.dev.jets3t jets3t 0.9.4
net.razorvine pyrolit 4.13
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-jdbc 3.6.3
net.snowflake spark-snowflake_2.11 2.3.2
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime 4.7
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 0.8.0
org.apache.arrow šipka – paměť 0.8.0
org.apache.arrow arrow-vector 0.8.0
org.apache.avro avro 1.7.7
org.apache.avro avro-ipc 1.7.7
org.apache.avro avro-ipc-tests 1.7.7
org.apache.avro avro-mapred-hadoop2 1.7.7
org.apache.calcite calcite-avatica 1.2.0-inkubační
org.apache.calcite kalcite-core 1.2.0-inkubační
org.apache.calcite calcite-linq4j 1.2.0-inkubační
org.apache.commons commons-compress 1.4.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.5
org.apache.commons commons-math3 3.4.1
org.apache.kurátor kurátor-client 2.7.1
org.apache.kurátor kurátor-framework 2.7.1
org.apache.kurátor kurátor-recepty 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop-client 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core 3.1.0-inkubační
org.apache.httpcomponents httpclient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy břečťan 2.4.0
org.apache.orc orc-core-nohive 1.4.3
org.apache.orc orc-mapreduce-nohive 1.4.3
org.apache.parquet parquet-column 1.8.3-databricks2
org.apache.parquet parquet-common 1.8.3-databricks2
org.apache.parquet kódování parquet 1.8.3-databricks2
org.apache.parquet parquet-format 2.3.1
org.apache.parquet parquet-hadoop 1.8.3-databricks2
org.apache.parquet parquet-jackson 1.8.3-databricks2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm5-shaded 4.4
org.apache.zookeeper zookeeper 3.4.6
org.bouncycastle bcprov-jdk15on 1.58
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.8
org.codehaus.janino Janino 3.0.8
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-client 9.3.20.v20170531
org.eclipse.jetty pokračování jetty 9.3.20.v20170531
org.eclipse.jetty jetty-http 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty jetty-plus 9.3.20.v20170531
org.eclipse.jetty jetty-proxy 9.3.20.v20170531
org.eclipse.jetty jetty-security 9.3.20.v20170531
org.eclipse.jetty jetty-server 9.3.20.v20170531
org.eclipse.jetty jetty-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty jetty-util 9.3.20.v20170531
org.eclipse.jetty jetty-webapp 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 hk2-locator 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator 1.0.1
org.glassfish.hk2.external aopalliance-repackaged 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged jersey-guava 2.22.2
org.glassfish.jersey.containers jersey-container-servlet 2.22.2
org.glassfish.jersey.containers jersey-container-servlet-core 2.22.2
org.glassfish.jersey.core jersey-client 2.22.2
org.glassfish.jersey.core žerzejové společné 2.22.2
org.glassfish.jersey.core jersey-server 2.22.2
org.glassfish.jersey.media jersey-media-jaxb 2.22.2
org.hibernate Hibernate-validator 5.1.1.Final
org.iq80.snappy kousavý 0,2
org.javassist Javassist 3.18.1-GA
org.jboss.logging jboss-logging 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.2.11
org.json4s json4s-core_2.11 3.2.11
org.json4s json4s-jackson_2.11 3.2.11
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis objenesis 2.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.8
org.scala-lang scala-library_2.11 2.11.8
org.scala-lang scala-reflect_2.11 2.11.8
org.scala-lang scalap_2.11 2.11.8
org.scala-lang.modules scala-parser-combinators_2.11 1.0.2
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.11 1.12.5
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 2.2.6
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metastore 1.2.1.spark2
org.spark-project.spark nepoužitý 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.tukaani xz 1.0
org.typelevel machinist_2.11 0.6.1
org.typelevel makro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.2.6
org.yaml snakeyaml 1.16
oro oro 2.0.8
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0,52