Databricks Runtime 11.1 (EoS)

Poznámka:

Podpora této verze Databricks Runtime skončila. Datum ukončení podpory najdete v tématu Konec podpory a historie ukončení životnosti. Pro všechny podporované verze Databricks Runtime vizte poznámky k vydání Databricks Runtime - verze a kompatibilita.

Následující poznámky k verzi obsahují informace o modulu Databricks Runtime 11.1, který využívá Apache Spark 3.3.0. Databricks vydala tuto verzi v červenci 2022.

Nové funkce a vylepšení

Photon je GA

Photon je teď obecně dostupný, počínaje modulem Databricks Runtime 11.1. Photon je nativní vektorizovaný dotazovací modul na Azure Databricks, který je napsaný tak, aby byl přímo kompatibilní s rozhraními Apache Spark API, aby fungoval s existujícím kódem. Photon se vyvíjí v jazyce C++, který využívá moderní hardware, a používá nejnovější techniky vektorizovaného zpracování dotazů k použití velkých objemů paralelismu na úrovni dat a instrukcí v procesorech, což zvyšuje výkon v reálných datech a aplikacích – to vše nativně ve vašem datovém jezeře.

Photon je součástí vysokovýkonného modulu runtime, který zrychluje provádění stávajících volání SQL a rozhraní API datového rámce a snižuje celkové náklady na jednotlivé úlohy. Photon se ve výchozím nastavení používá v datových skladech Databricks SQL.

Mezi nové funkce a vylepšení patří:

  • Nový vektorizovaný operátor řazení
  • Nové vektorizované funkce oken
  • Nové typy a velikosti instancí ve všech cloudech

Omezení:

  • Photon nepodporuje funkce Scala/Python UDF
  • Photon nepodporuje RDD
  • Photon nepodporuje strukturované streamování

Další informace najdete v následujících oznámeních photon.

Photon: Nový vektorový třídicí operátor

Photon teď podporuje vektorizované řazení, pokud dotaz obsahuje SORT_BY, CLUSTER_BYnebo funkci okna s funkcí ORDER BY.

Omezení: Photon nepodporuje globální ORDER BY klauzuli. Řazení pro vyhodnocení oken bude fotonizováno, ale globální řazení bude dál běžet ve Sparku.

Photon: Nové vektorizované funkce okna

Photon teď podporuje vektorizované vyhodnocení funkce okna pro mnoho typů snímků a funkcí. Nové funkce oken zahrnují: row_number, rank, dense_rank, lag, lead, percent_rank, ntile, a nth_value. Podporované typy rámečků oken: dynamické (UNBOUNDED PRECEDING AND CURRENT ROW), neomezené (UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING), rozšiřující se (UNBOUNDED PRECEDING AND <OFFSET> FOLLOWING) a zúžující se (<OFFSET> PRECEDING AND UNBOUNDED FOLLOWING).

Omezení:

  • Photon podporuje pouze ROWS verze všech typů snímků.
  • Photon zatím nepodporuje typ posuvného rámečku (<OFFSET> PRECEDING AND <OFFSET> FOLLOWING).

Photon: Podporované typy instancí

  • dds_v5
  • ds_v5
  • eas_v4
  • eds_v4
  • eds_v5
  • es_v5
  • las_v3
  • ls_v3

Datový kanál pro změnu nyní může automaticky zpracovávat časová razítka, která jsou mimo rozsah.

Změna datového kanálu (CDF) teď obsahuje nový režim, ve kterém můžete poskytovat časová razítka nebo verze, které přesahují nejnovější verzi commitu, aniž by došlo k chybám. Tento režim je ve výchozím nastavení zakázaný. Můžete ho povolit nastavením konfigurace spark.databricks.delta.changeDataFeed.timestampOutOfRange.enabled na true.

Popis a zobrazení SQL funkcí nyní ve výstupu zobrazují názvy katalogu Unity (Veřejná Ukázka)

Příkazy DESC TABLE, , DESC DATABASE, DESC SCHEMADESC NAMESPACE, DESC FUNCTIONEXPLAINa SHOW CREATE TABLE nyní vždy zobrazují název katalogu ve svém výstupu.

Odvozování schémat a evoluce souborů Parquet v Auto Loaderu (Veřejná ukázka)

Auto Loader teď podporuje odvozování schématu a vývoj souborů Parquet. Stejně jako formáty JSON, CSV a Avro teď můžete použít záchranný datový sloupec k záchraně neočekávaných dat, která se můžou objevit v souborech Parquet. To zahrnuje data, která nelze analyzovat v očekávaném datovém typu, sloupcích s jiným písmenem nebo dalších sloupcích, které nejsou součástí očekávaného schématu. Systém Auto Loader můžete nakonfigurovat tak, aby se schéma automaticky přizpůsobilo při přidávání nových sloupců do příchozích dat. Viz Konfigurace odvozování schématu a jeho vývoj v Auto Loader.

Auto Loader teď podporuje vývoj schématu pro Avro (GA)

Viz Konfigurace odvozování schématu a jeho vývoj v Auto Loader.

Podpora Delta Lake pro dynamické přepsání oddílů

Delta Lake teď umožňuje dynamickému režimu přepsání oddílů přepsat všechna existující data v každém logickém oddílu, pro který zápis potvrdí nová data. Viz selektivní přepsání dat pomocí Delta Lake.

Podpora schématu informací pro objekty vytvořené v katalogu Unity

Informační schéma poskytuje rozhraní API založené na SQL, které popisuje metadata různých databázových objektů, včetně tabulek a zobrazení, omezení a rutin. V informačním schématu najdete sadu zobrazení popisujících objekty známé v katalogu schématu, které máte privilegované zobrazení. Schéma SYSTEM informací katalogu vrací informace o objektech ve všech katalogech v rámci metastoru. Viz Schéma informací.

Informační omezení tabulek Delta Lake s Unity Catalog (Veřejný náhled)

U tabulek Delta Lake s katalogem Unity teď můžete definovat omezení informačního primárního klíče a cizího klíče. Informační omezení se nevynucují. Vizklauzule .

Katalog Unity je v všeobecné dostupnosti

Katalog Unity je nyní obecně dostupný od Databricks Runtime 11.1. Viz téma Co je katalog Unity?.

Delta Sharing je obecně dostupné

Delta Sharing je nyní obecně dostupné od Databricks Runtime 11.1.

Databricks pro Databricks Delta Sharing je plně spravováno bez nutnosti výměny tokenů. V uživatelském rozhraní nebo pomocí rozhraní SQL a REST API můžete vytvářet a spravovat poskytovatele, příjemce a sdílené složky.

Mezi funkce patří omezení přístupu pro příjemce, dotazování dat pomocí seznamů povolených IP adres a regionálních omezení a delegování správy Delta Sharing na uživatele bez administrátorských práv. Můžete také dotazovat změny v datech nebo sdílet inkrementální verze pomocí Change Data Feeds. Viz Co je OpenSharing?

Změny chování

Úprava citlivých vlastností pro DESCRIBE TABLE a ZOBRAZ TABLE VLASTNOSTI

Citlivé vlastnosti jsou odstraněny v datových rámcích a výstupu příkazů DESCRIBE TABLE a SHOW TABLE PROPERTIES.

Clustery úloh ve výchozím nastavení mají režim přístupu jednoho uživatele s Modulem Databricks Runtime 11.1 a novějším

Aby byl katalog Unity schopný, clustery úloh využívající Databricks Runtime 11.1 a vyšší vytvořené prostřednictvím uživatelského rozhraní úloh nebo rozhraní API úloh budou ve výchozím nastavení používat režim přístupu jednoho uživatele. Režim přístupu jednoho uživatele podporuje většinu programovacích jazyků, funkcí clusteru a funkcí zásad správného řízení dat. Standardní režim přístupu (dříve sdílený režim přístupu) můžete nakonfigurovat prostřednictvím uživatelského rozhraní nebo rozhraní API, ale jazyky nebo funkce můžou být omezené.

Upgrady knihoven

  • Upgradované knihovny Python:
    • filelock od 3.6.0 do 3.7.1
    • vykreslovat od 5.6.0 do 5.8.2
    • protobuf od 3.20.1 do 4.21.2
  • Upgradované knihovny jazyka R:
    • Chron od 2.3-56 do 2.3-57
    • DBI od 1.1.2 do 1.1.3
    • dbplyr od 2.1.1 do 2.2.0
    • e1071, od verze 1.7-9 do verze 1.7-11
    • aktualizace z verze 1.25.0 na verzi 1.26.1
    • verze globals od 0.14.0 do 0.15.1
    • hardhat od 0.2.0 do 1.1.0
    • ipred z 0.9-12 do 0.9-13
    • openssl od 2.0.0 do 2.0.2
    • paralelně od 1.31.1 do 1.32.0
    • processx od 3.5.3 do 3.6.1
    • progressr z verze 0.10.0 na 0.10.1
    • proxy z 0.4-26 na 0.4-27
    • ps od 1.7.0 do 1.7.1
    • randomForest od 4.7-1 do 4.7-1.1
    • roxygen2 od 7.1.2 do 7.2.0
    • Rserve od 1.8-10 do 1.8-11
    • RSQLite od 2.2.13 do 2.2.14
    • sparklyr od 1.7.5 do 1.7.7
    • tinytex od 0,38 do 0,40
    • usethis od verze 2.1.5 do verze 2.1.6
    • xfun od 0.30 do 0.31
  • Upgradované knihovny Java:
    • io.delta.delta-sharing-spark_2.12 od 0.4.0 do 0.5.0

Apache Spark

Databricks Runtime 11.2 zahrnuje Apache Spark 3.3.0. Tato verze zahrnuje všechny opravy a vylepšení Sparku, která jsou součástí Databricks Runtime 11.1 (EoS), a také následující další opravy chyb a vylepšení Sparku:

  • [SPARK-40054] [SQL] Obnovení syntaxe zpracování chyb try_cast()
  • [SPARK-39489] [JÁDRO] Vylepšení výkonu protokolování událostí JsonProtocol pomocí Jacksona místo Json4s
  • [SPARK-39319] [CORE][sql] Vytvořte kontexty dotazů jako součást SparkThrowable
  • [SPARK-40085] [SQL] K označení chyb použijte třídu chyb INTERNAL_ERROR místo IllegalStateException.
  • [SPARK-40001] [SQL] Zápisy NULL do výchozích sloupců JSON zapisují do úložiště null.
  • [SPARK-39635] [SQL] Podpora metrik ovladačů ve vlastním rozhraní API metrik DS v2
  • [SPARK-39184] [SQL] Řešení podrozměrného pole výsledků v sekvencích datumů a časových razítek
  • [SPARK-40019] [SQL] Upravte komentář k funkci containsNull v ArrayType a přepracujte špatně pochopenou logiku ve výrazu collectionOperator ohledně containsNull
  • [SPARK-39989] [SQL] Podpora odhadu statistiky sloupců, pokud je výraz skládací
  • [SPARK-39926] [SQL] Oprava chyby v podpoře DEFAULT sloupce pro nevektorizované skenování Parquet
  • [SPARK-40052] [SQL] Zpracování přímých byte bufferů v VectorizedDeltaBinaryPackedReader
  • [SPARK-40044] [SQL] Oprava typu cílového intervalu v chybách přetečení
  • [SPARK-39835] [SQL] Oprava chyby, kdy EliminateSorts odstraní globální řazení před místním řazením
  • [SPARK-40002] [SQL] Nepřenášejte limit přes okno s použitím ntile
  • [SPARK-39976] [SQL] ArrayIntersect by měl správně zpracovat hodnotu null v levém výrazu.
  • [SPARK-39985] [SQL] Povolení implicitních výchozích hodnot sloupců v vkládání z datových rámců
  • [SPARK-39776] [SQL] podrobný řetězec by měl přidat typ spojování
  • [SPARK-38901] [SQL] DS V2 podporuje propouštění různorodých funkcí
  • [SPARK-40028] [SQL][followup] Vylepšení příkladů řetězcových funkcí
  • [SPARK-39983] [CORE][sql] Neukládejte na driver neserializované vysílané relace do mezipaměti
  • [SPARK-39812] [SQL] Zjednodušení kódu, který konstruuje AggregateExpression s toAggregateExpression
  • [SPARK-40028] [SQL] Přidání binárních příkladů pro řetězcové výrazy
  • [SPARK-39981] [SQL] Vyvolá výjimku QueryExecutionErrors.castingCauseOverflowErrorInTableInsert v Cast
  • [SPARK-40007] [PYTHON][sql] Přidání režimu do funkcí
  • [SPARK-40008] [SQL] Podpora přetypování integrálů do intervalů ANSI
  • [SPARK-40003] [PYTHON][sql] Přidat 'medián' do funkcí
  • [SPARK-39952] [SQL] SaveIntoDataSourceCommand by měl znovu uložit do mezipaměti výsledkový vztah
  • [SPARK-39951] [SQL] Aktualizace sloupcové kontroly Parquet V2 pro vnořená pole
  • [SPARK-39775] [CORE][avro] Zákaz ověřování výchozích hodnot při analýze schémat Avro
  • [SPARK-33236] [shuffle] Backport na Databricks Runtime 11.x: Povolení služby pro prohazování založenou na push pro ukládání stavu na úrovni DB NM pro zachování kontinuity práce
  • [SPARK-39836] [SQL] Zjednodušení nástroje V2ExpressionBuilder extrahováním běžné metody
  • [SPARK-39867] [SQL] Globální limit by neměl dědit OrderPreservingUnaryNode
  • [SPARK-39873] [SQL] Odebrání OptimizeLimitZero a sloučení do EliminateLimits
  • [SPARK-39961] [SQL] DS V2 push-down provést přetypování, pokud je přetypování bezpečné
  • [SPARK-39872] [SQL] Změna použití BytePackerForLong#unpack8Values s API pro vstup pole v VectorizedDeltaBinaryPackedReader
  • [SPARK-39858] [SQL] Odebrat nepotřebné AliasHelper nebo PredicateHelper u některých pravidel
  • [SPARK-39962] [WARMFIX][es-393486][PYTHON][sql] Použít projekci, pokud jsou atributy skupiny prázdné
  • [SPARK-39900] [SQL] Řešení částečné nebo negované podmínky při pushdownu predikátu binárního formátu
  • [SPARK-39904] [SQL] Přejmenovat inferDate na prefersDate a objasnit sémantiku této možnosti v CSV zdroji dat.
  • [SPARK-39958] [SQL] Přidání protokolu upozornění při nemožnosti načíst vlastní objekt metriky
  • [SPARK-39936] [SQL] Uložení schématu ve vlastnostech zobrazení Sparku
  • [SPARK-39932] [SQL] WindowExec má vymazat konečný oddílový buffer.
  • [SPARK-37194] [SQL] Vyhněte se zbytečnému řazení v zápisu v1, pokud není dynamický oddíl.
  • [SPARK-39902] [SQL] Přidání podrobností skenování do uzlu skenování plánu Spark ve SparkUI
  • [SPARK-39865] [SQL] Zobrazení správných chybových zpráv při chybách způsobených přetečením při vkládání do tabulky
  • [SPARK-39940] [SS] Aktualizace tabulky katalogu při dotazu streamování pomocí jímky DSv1
  • [SPARK-39827] [SQL] Použít třídu ARITHMETIC_OVERFLOW chyb při přetečení celých čísel add_months()
  • [SPARK-39914] [SQL] Převod filtru DS V2 na filtr V1
  • [SPARK-39857] [SQL] Manuální zpětná kompatibilita pro Databricks Runtime 11.x; V2ExpressionBuilder používá nesprávný datový typ LiteralValue pro predikát "In" #43454
  • [SPARK-39840] [SQL][python] Vyčlenit PythonArrowInput jako souměrnost k PythonArrowOutput
  • [SPARK-39651] [SQL] Vyřazení podmínky filtru, pokud je porovnání s randem deterministické
  • [SPARK-39877] [PYTHON] Přidat unpivot do rozhraní API datového rámce PySpark
  • [SPARK-39847] [WARMFIX][ss] Opravit kritickou situaci v RocksDBLoader.loadLibrary(), pokud je vlákno volajícího přerušeno
  • [SPARK-39909] [SQL] Usměrňování kontroly prosunutí informací pro JDBCV2Suite
  • [SPARK-39834] [SQL][ss] Zahrňte statistiky původu a omezení pro LogickéRDD, pokud pochází z datového rámce.
  • [SPARK-39849] [SQL] Dataset.as(StructType) vyplní chybějící nové sloupce s hodnotou null.
  • [SPARK-39860] [SQL] Další výrazy by měly rozšířit predikát
  • [SPARK-39823] [SQL][python] Přejmenujte Dataset.as jako Dataset.to a přidejte DataFrame.to v PySparku.
  • [SPARK-39918] [SQL][podverze] Nahraďte v chybové zprávě výraz "un-comparable" výrazem "incomparable" (nesrovnatelný).
  • [SPARK-39857] [SQL][3.3] V2ExpressionBuilder používá nesprávný datový typ LiteralValue pro predikát In
  • [SPARK-39862] [SQL] Ruční zpětné portování pro PR 43654 zacílené na Databricks Runtime 11.x: Aktualizace SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS pro povolení/odepření ALTER TABLE ... Přidejte příkazy COLUMN jednotlivě.
  • [SPARK-39844] [SQL] Ruční backport pro PR 43652, který cílí na Databricks Runtime 11.x
  • [SPARK-39899] [SQL] Oprava předávání parametrů zprávy do InvalidUDFClassException
  • [SPARK-39890] [SQL] Udělat, aby TakeOrderedAndProjectExec dědilo AliasAwareOutputOrdering
  • [SPARK-39809] [PYTHON] Podpora typu CharType v PySpark
  • [SPARK-38864] [SQL] Přidat unpivot / melt do datové sady
  • [SPARK-39864] [SQL] Lazily zaregistrovat ExecutionListenerBus
  • [SPARK-39808] [SQL] Podpora režimu agregační funkce MODE
  • [SPARK-39839] [SQL] Řešení speciálních případů NULL proměnné délky Decimal s nenulovým offsetem a velikostí v kontrole integrity struktury UnsafeRow
  • [SPARK-39875] [SQL] Změna protected metody v konečné třídě na private nebo package-visible
  • [SPARK-39731] [SQL] Oprava potíží se zdroji dat CSV a JSON při analýze dat ve formátu yyyyMMdd pomocí politiky správného analyzátoru času
  • [SPARK-39805] [SS] Odsunout Trigger.Once a podpořit Trigger.AvailableNow
  • [SPARK-39784] [SQL] Po překladu Catalyst výrazu do filtru zdroje dat vložte literální hodnoty na pravou stranu filtru zdroje dat.
  • [SPARK-39672] [SQL][3.1] Oprava odebrání projektu před filtrováním s korelovaným poddotazem
  • [SPARK-39552] [SQL] Sjednocení v1 a v2 DESCRIBE TABLE
  • [SPARK-39806] [SQL] Přístup k _metadata na dělené tabulce může způsobit ukončení dotazu.
  • [SPARK-39810] [SQL] Catalog.tableExists by měl zpracovávat vnořený obor názvů
  • [SPARK-37287] [SQL] Vytáhněte dynamické oddíly a třídění podle kbelíků z FileFormatWriter
  • [SPARK-39469] [SQL] Odvození typu data pro odvození schématu CSV
  • [SPARK-39148] [SQL] Prosazení agregace DS V2 může fungovat s OFFSET nebo LIMIT
  • [SPARK-39818] [SQL] Oprava chyby v polích ARRAY, STRUCT, MAP s výchozími hodnotami s poli NULL
  • [SPARK-39792] [SQL] Přidat funkci DecimalDivideWithOverflowCheck pro desetinný průměr
  • [SPARK-39798] [SQL] Nahraďte toSeq.toArray pomocí .toArray[Any] v konstruktoru GenericArrayData.
  • [SPARK-39759] [SQL] Implementujte funkci listIndexes v JDBC (dialekt H2)
  • [SPARK-39385] [SQL] Podporuje funkci push down REGR_AVGX a REGR_AVGY
  • [SPARK-39787] [SQL] Použití třídy chyb v analýze chyby funkce to_timestamp
  • [SPARK-39760] [PYTHON] Podpora Varchar v PySpark
  • [SPARK-39557] [SQL] Ruční backport do Databricks Runtime 11.x: Podpora typů ARRAY, STRUCT a MAP jako výchozích hodnot
  • [SPARK-39758] [SQL][3.3] Opravuje NPE způsobené funkcemi regexp u neplatných vzorů
  • [SPARK-39749] [SQL] Režim ANSI SQL: Použití prostého řetězcového vyjádření při přetypování typu Decimal na řetězec
  • [SPARK-39704] [SQL] Implementovat createIndex & dropIndex & indexExists v JDBC (dialekt H2)
  • [SPARK-39803] [SQL] Používejte LevenshteinDistance místo StringUtils.getLevenshteinDistance
  • [SPARK-39339] [SQL] Podpora typu TimestampNTZ ve zdroji dat JDBC
  • [SPARK-39781] [SS] Přidání podpory pro poskytování max_open_files poskytovateli úložiště stavů rocksdb
  • [SPARK-39719] [R] Implementace databaseExists/getDatabase v SparkR podporuje 3L obor názvů
  • [SPARK-39751] [SQL] Přejmenování metriky agregovaných klíčů hash
  • [SPARK-39772] [SQL] Obor názvů by měl mít hodnotu null, pokud je databáze ve starých konstruktorech null.
  • [SPARK-39625] [SPARK-38904][sql] Přidání Dataset.as(StructType)
  • [SPARK-39384] [SQL] Kompilace integrovaných agregačních funkcí lineární regrese pro dialekt JDBC
  • [SPARK-39720] [R] Implementace tableExists/getTable v SparkR pro obor názvů 3L
  • [SPARK-39744] [SQL] REGEXP_INSTR Přidání funkce
  • [SPARK-39716] [R] Umožněte, aby currentDatabase/setCurrentDatabase/listCatalogs v SparkR podporovaly obor názvů 3L
  • [SPARK-39788] [SQL] Přejmenovat catalogName na dialectName pro JdbcUtils
  • [SPARK-39647] [JÁDRO] Registrace exekutoru v ESS před registrací BlockManageru
  • [SPARK-39754] [CORE][sql] Odebrání nepoužívaných import nebo zbytečných {}
  • [SPARK-39706] [SQL] Nastavení chybějícího sloupce s hodnotou defaultValue jako konstantou v ParquetColumnVector
  • [SPARK-39699] [SQL] Zlepšit inteligenci CollapseProject v oblasti vytváření kolekcí
  • [SPARK-39737] [SQL] PERCENTILE_CONT a PERCENTILE_DISC měl by podporovat agregační filtr.
  • [SPARK-39579] [SQL][python][R] Make ListFunctions/getFunction/functionExists kompatibilní s třístupňovým oborem názvů
  • [SPARK-39627] [SQL] Pushdown JDBC V2 by měl sjednotit rozhraní API pro kompilaci.
  • [SPARK-39748] [SQL][ss] Zahrňte originální logický plán pro LogicalRDD, pokud pochází z datového rámce.
  • [SPARK-39385] [SQL] Převod agregačních funkcí lineární regrese pro optimalizaci
  • [SPARK-39695] [SQL] REGEXP_SUBSTR Přidání funkce
  • [SPARK-39667] [SQL] Přidání dalšího alternativního řešení, pokud není dostatek paměti pro sestavení a vysílání tabulky
  • [SPARK-39666] [ES-337834][sql] K dodržení spark.sql.codegen.factoryMode v ExpressionEncoder použijte UnsafeProjection.create.
  • [SPARK-39643] [SQL] Zákaz výrazů poddotazů v hodnotách DEFAULT
  • [SPARK-38647] [SQL] Přidat rozhraní SupportsReportOrdering jako mix-in pro Scan (DataSourceV2)
  • [SPARK-39497] [SQL] Vylepšení výjimky analýzy chybějícího sloupce s klíčem mapy
  • [SPARK-39661] [SQL] Vyhněte se vytváření nepotřebného SLF4J loggeru
  • [SPARK-39713] [SQL] Režim ANSI: Přidání návrhu použití try_element_at pro INVALID_ARRAY_INDEX chybu
  • [SPARK-38899] [SQL]DS V2 podporuje funkce push down datetime
  • [SPARK-39638] [SQL] Změna použití ConstantColumnVector k ukládání sloupců oddílů do OrcColumnarBatchReader
  • [SPARK-39653] [SQL] Vyčištění ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int) z ColumnVectorUtils
  • [SPARK-39231] [SQL] Použijte ConstantColumnVector místo On/OffHeapColumnVector pro ukládání sloupců oddílů do VectorizedParquetRecordReader
  • [SPARK-39547] [SQL] V2SessionCatalog by neměl vyvolat NoSuchDatabaseException v loadNamspaceMetadata
  • [SPARK-39447] [SQL] Vyhnout se AssertionError v AdaptiveSparkPlanExec.doExecuteBroadcast
  • [SPARK-39492] [SQL] Přepracovat MISSING_COLUMN
  • [SPARK-39679] [SQL] TakeOrderedAndProjectExec by měl respektovat řazení podřízených výstupů.
  • [SPARK-39606] [SQL] Použití podřízených statistik k odhadu operátoru objednávky
  • [SPARK-39611] [PYTHON][ps] Oprava nesprávných aliasů v array_ufunc
  • [SPARK-39656] [SQL][3.3] Oprava nesprávného jmeného prostoru v DescribeNamespaceExec
  • [SPARK-39675] [SQL] Přepnutí konfigurace spark.sql.codegen.factoryMode z testovacího účelu na interní účel
  • [SPARK-39139] [SQL] DS V2 podporuje funkci push down DS V2 UDF.
  • [SPARK-39434] [SQL] Poskytnutí kontextu dotazu při chybě za běhu, když je index pole mimo hranice
  • [SPARK-39479] [SQL] DS V2 podporuje odvozování matematických funkcí (ne ANSI).
  • [SPARK-39618] [SQL] REGEXP_COUNT Přidání funkce
  • [SPARK-39553] [CORE] Zrušení registrace vícevláknem by nemělo vyvolat NPE při použití Scaly 2.13
  • [SPARK-38755] [PYTHON][3.3] Přidat soubor pro řešení chybějících obecných funkcí pandas
  • [SPARK-39444] [SQL] Přidat OptimizeSubqueries do seznamu nonExcludableRules
  • [SPARK-39316] [SQL] Sloučit PromotePrecision a CheckOverflow do desítkové binární aritmetiky
  • [SPARK-39505] [UŽIVATELSKÉ ROZHRANÍ] Upravit obsah logu vykreslený v uživatelském rozhraní
  • [SPARK-39448] [SQL] Přidat ReplaceCTERefWithRepartition do nonExcludableRules seznamu
  • [SPARK-37961] [SQL] Přepsat maxRows/maxRowsPerPartition u některých logických operátorů
  • [SPARK-35223] Vrátit zpět Přidání IssueNavigationLink
  • [SPARK-39633] [SQL] Podpora časového razítka v sekundách pro TimeTravel pomocí možností Dataframe
  • [SPARK-38796] [SQL] Aktualizace dokumentace pro číselné formátovací řetězce pomocí funkcí {try_}to_number
  • [SPARK-39650] [SS] Oprava nesprávného schématu hodnot v deduplikaci streamu se zpětnou kompatibilitou
  • [SPARK-39636] [CORE][ui] Oprava více chyb v JsonProtocol, které ovlivňují úrovně úložiště mimo haldu a požadavky na prostředky úloh/Executorů
  • [SPARK-39432] [SQL] Vrátit ELEMENT_AT_BY_INDEX_ZERO z element_at(*, 0)
  • [SPARK-39349] Přidání centralizované metody CheckError pro zajištění kvality chybového procesu
  • [SPARK-39453] [SQL] DS V2 podporuje prosazení různých neagregačních funkcí (ne-ANSI).
  • [SPARK-38978] [SQL] DS V2 podporuje operátor pro posouvání dolů OFFSET
  • [SPARK-39567] [SQL] Podpora intervalů ANSI ve funkcích percentilu
  • [SPARK-39383] [SQL] Podporuje výchozí sloupce v příkazu ALTER TABLE ALTER pro datové zdroje V2.
  • [SPARK-39396] [ SQL] Oprava výjimky přihlášení LDAP s kódem chyby 49 – neplatné přihlašovací údaje
  • [SPARK-39548] [SQL] Příkaz CreateView s dotazem, který obsahuje klauzuli okna, narazil na problém definice okna, která nebyla nalezena.
  • [SPARK-39575] [AVRO] přidání ByteBuffer#rewind po ByteBuffer#get v Avr...
  • [SPARK-39543] Možnost DataFrameWriterV2 by měla být předána vlastnostem úložiště, pokud se přejde zpět na v1
  • [SPARK-39564] [SS] Zpřístupnění informací o tabulce katalogu logickému plánu v dotazu pro streamování
  • [SPARK-39582] [SQL] Oprava ukazatele "Od" pro array_agg
  • [SPARK-39388] [SQL] Opakované použití orcSchema při push-downu predikátů Orc
  • [SPARK-39511] [SQL] Zlepšení prosazení místního limitu 1 pro pravou stranu levého semi/anti spojení, pokud je podmínka spojení prázdná.
  • [SPARK-38614] [SQL] Neposouvejte limit přes okno, které používá percent_rank
  • [SPARK-39551] [SQL] Přidání kontroly neplatného plánu AQE
  • [SPARK-39383] [SQL] Podpora výchozích sloupců v ALTER TABLE ADD COLUMNS k datovým zdrojům V2
  • [SPARK-39538] [SQL] Vyhněte se vytváření nepotřebného SLF4J Loggeru
  • [SPARK-39383] [SQL] Ruční backport do Databricks Runtime 11.x: Refaktoring podpory sloupců DEFAULT, aby nebylo nutné předávat primární analyzátor.
  • [SPARK-39397] [SQL] Relax AliasAwareOutputExpression pro podporu aliasu s výrazem
  • [SPARK-39496] [SQL] Zpracování struktury null v Inline.eval
  • [SPARK-39545] [SQL] Přepsat metodu concat ve verzi jazyka Scala 2.13 za účelem zlepšení výkonu.
  • [SPARK-39340] [SQL] Agregace DS v2 by měla umožňovat tečky v názvu sloupců nejvyšší úrovně.
  • [SPARK-39488] [SQL] Zjednodušení zpracování chyb tempResolvedColumn
  • [SPARK-38846] [SQL] Přidání explicitního mapování dat mezi číselným typem Teradata a počtem desetinných míst Sparku
  • [SPARK-39520] [SQL] Přepsání metody -- pro ExpressionSet ve Scala 2.13
  • [SPARK-39470] [SQL] Podpora přetypování intervalů ANSI na desetinná místa
  • [SPARK-39477] [SQL] Odebrání informací o počtu dotazů ze zlatých souborů SQLQueryTestSuite
  • [SPARK-39419] [SQL] Oprava ArraySortu pro vyvolání výjimky, když srovnávací program vrátí hodnotu null
  • [SPARK-39061] [SQL] Správně nastavit hodnotu null pro Inline výstupní atributy
  • [SPARK-39320] [SQL] Podpora agregační funkce MEDIAN
  • [SPARK-39261] [JÁDRO] Vylepšení formátování nového textu pro chybové zprávy
  • [SPARK-39355] [SQL] Jeden sloupec používá uvozovky k vytvoření UnresolvedAttribute
  • [SPARK-39351] [SQL] SHOW CREATE TABLE by mělo redigovat vlastnosti
  • [SPARK-37623] [SQL] Podpora agregační funkce ANSI: regr_intercept
  • [SPARK-39374] [SQL] Zlepšení chybové zprávy pro seznam sloupců zadaných uživatelem
  • [SPARK-39255] [SQL][3.3] Vylepšení chybových zpráv
  • [SPARK-39321] [SQL] Přetvoření TryCast na použití RuntimeReplaceable
  • [SPARK-39406] [PYTHON] Přijmout pole NumPy v createDataFrame
  • [SPARK-39267] [SQL] Vyčištění nepotřebného symbolu dsl
  • [SPARK-39171] [SQL] Sjednotit přetypovací výraz
  • [SPARK-28330] [SQL] Podpora ANSI SQL: klauzule posunu výsledku ve výrazu dotazu
  • [SPARK-39203] [SQL] Úprava umístění tabulky na absolutní URI podle URI databáze
  • [SPARK-39313] [SQL] toCatalystOrdering pokud V2Expression nejde přeložit, by mělo selhat
  • [SPARK-39301] [SQL][python] Využijte LocalRelation a respektujte velikost dávky Arrow v objektu createDataFrame s optimalizací Arrow
  • [SPARK-39400] [SQL] Spark-sql by měl ve všech případech odebrat adresář prostředků Hive.

Aktualizace údržby

Podívejte se na údržbové aktualizace Databricks Runtime 11.1.

Systémové prostředí

  • Operační systém: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.5
  • R: 4.1.3
  • Delta Lake: 1.2.1

Nainstalované knihovny Python

Knihovna Version Knihovna Version Knihovna Version
Antergos Linux říjen 2015 (ISO-Rolling) argon2-cffi 20.1.0 asynchronní generátor 1,10
attrs 21.2.0 zpětný hovor 0.2.0 backports.entry-points-selectable (volitelné vstupní body) 1.1.1
černý 22.3.0 bělidlo 4.0.0 boto3 1.21.18
botocore 1.24.18 certifikát 2021.10.8 cffi 1.14.6
chardet 4.0.0 nástroj pro normalizaci znakové sady 2.0.4 klikni 8.0.3
kryptografie 3.4.8 cyklista 0.10.0 Cython 0.29.24
dbus-python 1.2.16 debugpy 1.4.1 dekoratér 5.1.0
defusedxml 0.7.1 distlib 0.3.5 informace o distribuci Linuxu 0.23ubuntu1
vstupní body 0,3 přehled aspektů 1.0.0 filelock 3.8.0
IDNA 3.2 ipykernel 6.12.1 ipython 7.32.0
ipython-genutils 0.2.0 ipywidgets 7.7.0 Jedi 0.18.0
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.0.1
jsonschema 3.2.0 klient Jupyter 6.1.12 jupyter-core 4.8.1
jupyterlab-pygments 0.1.2 JupyterLab widgets 1.0.0 kiwisolver 1.3.1
MarkupSafe 2.0.1 matplotlib 3.4.3 matplotlib-inline 0.1.2
špatné naladění 0.8.4 mypy-extensions 0.4.3 nbclient 0.5.3
nbconvert 6.1.0 nbformat 5.1.3 nest-asyncio 1.5.1
poznámkový blok 6.4.5 numpy (knihovna pro numerické výpočty v Pythonu) 1.20.3 balení 21.0
pandas 1.3.4 pandocfilters 1.4.3 parso 0.8.2
pathspec 0.9.0 bábovka 0.5.2 pexpect 4.8.0
PickleShare 0.7.5 Polštář 8.4.0 pip 21.2.4
platformdirs 2.5.2 plotly 5.9.0 prometheus-client 0.11.0
nástroj "prompt-toolkit" 3.0.20 protobuf 4.21.5 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 pyarrow 7.0.0
pycparser 2,20 Pygments 2.10.0 PyGObject 3.36.0
pyodbc 4.0.31 pyparsing 3.0.4 pyrsistent 0.18.0
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.2 knihovna pytz pro zpracování časových zón v Pythonu 2021.3
pyzmq 22.2.1 požadavky 2.26.0 requests-unixsocket 0.2.0
s3transfer 0.5.2 scikit-learn 0.24.2 SciPy 1.7.1
narozený v moři 0.11.2 Send2Trash 1.8.0 setuptools (nástroj pro vytváření a distribuci Python projektů) 58.0.4
šest 1.16.0 ssh-import-id 5.10 statsmodels 0.12.2
houževnatost 8.0.1 dokončeno 0.9.4 testovací cesta 0.5.0
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
tornádo 6.1 drobné vlastnosti 5.1.0 typing-extensions 3.10.0.2
bezobslužné aktualizace 0,1 urllib3 1.26.7 virtualenv 20.8.0
wcwidth (šířka znaků) 0.2.5 webová kódování 0.5.1 wheel 0.37.0
widgetsnbextension 3.6.0

Nainstalované knihovny jazyka R

Knihovny R jsou instalovány ze snímku Microsoft CRAN k datu 15. srpna 2022.

Knihovna Version Knihovna Version Knihovna Version
žádost o heslo 1.1 ověřit, že 0.2.1 zpětné portování 1.4.1
báze 4.1.3 base64enc 0,1-3 bit 4.0.4
64bit 4.0.5 objekt blob 1.2.3 bootování 1.3-28
připravovat nápoje 1.0-7 elán 1.1.3 koště 1.0.0
bslib 0.4.0 kašmír 1.0.6 volající 3.7.1
caret 6.0-93 cellranger 1.1.0 cron 2.3-57
třída 7.3-20 CLI 3.3.0 Clipr 0.8.0
cluster 2.1.3 codetools 0.2-18 barevný prostor 2.0-3
commonmark 1.8.0 kompilátor 4.1.3 config 0.3.1
cpp11 0.4.2 pastelka 1.5.1 přihlašovací údaje 1.3.2
kroucení 4.3.2 datová tabulka 1.14.2 datové sady 4.1.3
DBI 1.1.3 dbplyr 2.2.1 Popis 1.4.1
devtools 2.4.4 diffobj 0.3.5 hodnota hash 0.6.29
dolní osvětlení 0.4.2 dplyr 1.0.9 dtplyr 1.2.1
e1071 1.7-11 tři tečky 0.3.2 hodnotit 0,16
fanoušci 1.0.3 barvy 2.1.1 Fastmap (rychlé mapování) 1.1.0
fontawesome 0.3.0 pro kočky 0.5.1 foreach 1.5.2
zahraničí 0,8-82 kovárna 0.2.0 fs 1.5.2
budoucnost 1.27.0 budoucnost.použít 1.9.0 kloktání 1.2.0
obecné typy 0.1.3 Gert 1.7.0 ggplot2 3.3.6
gh 1.3.0 gitcreds 0.1.1 glmnet 4.1–4
globální 0.16.0 lepidlo 1.6.2 googledrive 2.0.0
googlesheets4 1.0.1 Gower 1.0.0 Grafika 4.1.3
grDevices 4.1.3 mřížka 4.1.3 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 ochranná přilba 1.2.0
útočiště 2.5.0 vyšší 0,9 HMS 1.1.1
htmlové nástroje 0.5.3 htmlwidgets (interaktivní HTML prvky) 1.5.4 httpuv 1.6.5
httr 1.4.3 identifikátory 1.0.1 ini 0.3.1
ipred 0.9-13 isoband 0.2.5 Iterátory 1.0.14
jquerylib 0.1.4 jsonlite 1.8.0 KernSmooth 2,23–20
knitr 1.39 značení 0.4.2 později 1.3.0
mřížka 0.20-45 láva 1.6.10 životní cyklus 1.0.1
poslouchej 0.8.0 lubridate 1.8.0 magrittr 2.0.3
Markdown 1.1 Hmotnost 7.3-56 *Matrix* 1.4-1
zapamatujte si 2.0.1 metody 4.1.3 mgcv 1.8-40
mim 0.12 miniUI 0.1.1.1 ModelMetrics 1.2.2.2
modelář 0.1.8 munsell 0.5.0 nlme 3.1-157
nnet (neuronová síť) 7.3-17 numDeriv (Numerická derivace) 2016.8 - 1.1 OpenSSL 2.0.2
rovnoběžný 4.1.3 paralelně 1.32.1 pilíř 1.8.0
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgdown 2.0.6
pkgload 1.3.0 plogr 0.2.0 plyr 1.8.7
pochvala 1.0.0 prettyunits 1.1.1 pROC 1.18.0
processx 3.7.0 prodlim 2019.11.13 profvis 0.3.7
pokrok 1.2.2 progressr 0.10.1 promisy 1.2.0.1
proto 1.0.0 proxy 0,4-27 p.s. 1.7.1
purrr 0.3.4 r2d3 0.2.6 R6 2.5.1
ragg 1.2.2 "randomForest" 4.7-1.1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-3 Rcpp 1.0.9
RcppEigen 0.3.3.9.2 čtenář 2.1.2 readxl 1.4.0
recepty 1.0.1 odvetný zápas 1.0.1 odvetný zápas 2 2.1.2
dálková ovládání 2.4.2 reprodukovatelný příklad 2.0.1 reshape2 1.4.4
rlang 1.0.4 rmarkdown 2.14 RODBC 1.3-19
roxygen2 7.2.1 rpart 4.1.16 rprojroot 2.0.3
Rserve 1.8-11 RSQLite 2.2.15 rstudioapi 0,13
rversions 2.1.1 rvest 1.0.2 Sass 0.4.2
váhy 1.2.0 selektor 0.4-2 informace o sezení 1.2.2
obrazec 1.4.6 lesklý 1.7.2 sourcetools 0.1.7
sparklyr 1.7.7 SparkR 3.3.0 prostorový 7.3-11
spline 4.1.3 sqldf 0.4-11 SQUAREM 2021.1
statistické údaje 4.1.3 Stats4 4.1.3 řetězce 1.7.8
stringr 1.4.0 přežití 3.2-13 sys 3.4
systemfonts 1.0.4 tcltk 4.1.3 testthat (nástroj pro testování) 3.1.4
formátování textu 0.3.6 tibble 3.1.8 tidyr 1.2.0
tidyselect 1.1.2 tidyverse 1.3.2 datum a čas 4021.104
tinytex 0.40 nářadí 4.1.3 tzdb 0.3.0
ověřovač URL 1.0.1 použij tohle 2.1.6 utf8 1.2.2
pomocné funkce 4.1.3 Univerzální jednoznačný identifikátor (UUID) 1.1-0 vctrs 0.4.1
viridisLite 0.4.0 vrrrm 1.5.7 Waldo 0.4.0
hmatový chlup 0,4 (v případě, že je možné poskytnout smysl slova "withr", by bylo možné ho přeložit) 2.5.0 xfun 0.32
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.5 komprimovaný soubor zip 2.2.0

Nainstalované Java a knihovny Scala (verze clusteru Scala 2.12)

ID skupiny Identifikátor artefaktu Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client (klient Amazon Kinesis) 1.12.0
com.amazonaws aws-java-sdk Automatické škálování 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws „aws-java-sdk-cloudsearch“ 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy (Balíček AWS SDK pro Java - CodeDeploy) 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config (konfigurace balíčku SDK pro Javu od AWS) 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier (AWS Java SDK pro Glacier) 1.12.189
com.amazonaws aws-java-sdk-glue (balíček pro vývoj softwaru v Java od AWS, určený pro Glue služby) 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-strojové učení 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway (balíček nástrojů pro přístup k AWS Storage Gateway) 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws podpora AWS Java SDK 1.12.189
com.amazonaws knihovny AWS Java SDK SWF 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics datový proud 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware technologie kryo-stínění 4.0.2
com.esotericsoftware Minlog 1.3.0
com.fasterxml spolužák 1.3.4
com.fasterxml.jackson.core jackson-annotations (poznámky Jackson) 2.13.3
com.fasterxml.jackson.core jackson-core 2.13.3
com.fasterxml.jackson.core Jackson-databind 2.13.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.3
com.fasterxml.jackson.module jackson-module-paranamer 2.13.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.3
com.github.ben-manes.kofein kofein 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib jádro 1.1.2
com.github.fommil.netlib Nativní odkaz pro Javu 1.1
com.github.fommil.netlib native_ref - nativní prvky javy 1.1
com.github.fommil.netlib nativní_systém-java 1.1
com.github.fommil.netlib nativní systém java-native 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib – nativní systém – linux – x86_64 – nativy 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson Gson 2.8.6
com.google.crypto.tink Cink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guave 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.VYDÁNÍ
com.lihaoyi zdrojový_kód_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk (software development kit pro úložiště dat Azure Data Lake) 2.3.9
com.ning compress-lzf (komprimační algoritmus LZF) 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning JSON 1.8
com.thoughtworks.paranamer Paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app-2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers (nástroj pro analýzu dat) 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
společné sbírky společné sbírky 3.2.2
commons-dbcp commons-dbcp 1.4
Nahrávání souborů v Commons Nahrávání souborů v Commons 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging (nástroj pro záznamy) commons-logging (nástroj pro záznamy) 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib Blas 2.2.1
dev.ludovic.netlib LAPACK 2.2.1
hadoop3 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift vzduchový kompresor 0.21
io.delta delta-sharing-spark_2.12 0.5.0
io.dropwizard.metrics jádro metrik 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metriky – kontroly stavu 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics Metrics-JMX 4.1.1
io.dropwizard.metrics Metriky-json 4.1.1
io.dropwizard.metrics metriky pro JVM 4.1.1
io.dropwizard.metrics metrikové servlety 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes (softwarová knihovna) 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleklient_obecný 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx kolektor 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivace 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction API pro transakce 1.1
javax.xml.bind jaxb-api 2.2.11
Javolution Javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
mvn hadoop3 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine nakládačka 1,2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
síť.sněhová vločka snowflake-ingest-sdk 0.9.6
síť.sněhová vločka snowflake-jdbc 3.13.14
síť.sněhová vločka spark-snowflake_2.12 2.10.0-spark_3.2
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr StringTemplate 3.2.1
org.apache.ant mravenec 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant Ant launcher 1.9.2
org.apache.arrow šipkový formát 7.0.0
org.apache.arrow jádro šipkové paměti 7.0.0
org.apache.arrow šipka-paměť-netty 7.0.0
org.apache.arrow šipkový vektor 7.0.0
org.apache.avro Avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress (softwarová knihovna pro kompresi dat) 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons Commons-text (textové nástroje) 1,9
org.apache.kurátor kurátor-klient 2.13.0
org.apache.kurátor kurátorský rámec 2.13.0
org.apache.kurátor kurátorovy recepty 2.13.0
org.apache.derby fotbalové derby 10.14.2.0
org.apache.hadoop hadoop-klient-API 3.3.2-databricks
org.apache.hadoop běhové prostředí klienta Hadoop 3.3.2
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc (JDBC ovladač pro Apache Hive) 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive Hive-shims 2.3.9
org.apache.hive rozhraní pro úložiště Hive 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims plánovač hive-shims 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy břečťan 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.17.2
org.apache.logging.log4j log4j-api 2.17.2
org.apache.logging.log4j log4j-core 2.17.2
org.apache.logging.log4j log4j-slf4j-impl 2.17.2
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.5
org.apache.orc orc-mapreduce 1.7.5
org.apache.orc orčí podložky 1.7.5
org.apache.parquet parquet-column 1.12.0-databricks-0004
org.apache.parquet parquet-common 1.12.0-databricks-0004
org.apache.parquet parquet-encoding 1.12.0-databricks-0004
org.apache.parquet parquet-format-structures 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus poznámky pro publikum 0.5.0
org.apache.zookeeper ošetřovatel zvířat v zoo 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino společný kompilátor 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms (framework pro práci s relačními databázemi) 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty pokračování Jetty 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty Jetty-plus 9.4.46.v20220331
org.eclipse.jetty proxy pro službu Jetty 9.4.46.v20220331
org.eclipse.jetty bezpečnost Jetty 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty Jetty-webová aplikace 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket WebSocket API 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-klient 9.4.46.v20220331
org.eclipse.jetty.websocket websocket – běžné 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-lokátor 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 Vyhledávač zdrojů OSGi 1.0.3
org.glassfish.hk2.external aopalliance-přebaleno 2.6.1
org.glassfish.hk2.external jakarta.inject (pokud je to potřeba, přidejte vysvětlení nebo typický český termín v závorce) 2.6.1
org.glassfish.jersey.containers jersey-container-servlet (nástroj pro zpracování požadavků v Java EE) 2,34
org.glassfish.jersey.containers jersey-container-servlet-jádro 2,34
org.glassfish.jersey.core jersey-client 2,34
org.glassfish.jersey.core společný dres 2,34
org.glassfish.jersey.core Jersey-server (aplikační server frameworku Jersey) 2,34
org.glassfish.jersey.inject jersey-hk2 2,34
org.hibernate.validator Hibernate Validator 6.1.0.Final
org.javassist Javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains anotace 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc MariaDB Java klient 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap vymezovací pásky 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt testovací rozhraní 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1,2
org.scalanlp breeze_2.12 1,2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark nepoužitý 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
  • Last updated on