Databricks Runtime 13.3 LTS

Následující poznámky k verzi obsahují informace o modulu Databricks Runtime 13.3 LTS, který využívá Apache Spark 3.4.1.

Tato verze zahrnuje všechny funkce, vylepšení a opravy chyb ze všech předchozích verzí Databricks Runtime. Databricks vydala tuto verzi v srpnu 2023.

Poznámka:

LTS znamená, že tato verze je dlouhodobě podporována. Viz životní cykly podpory Databricks Runtime.

Návod

Chcete-li zobrazit poznámky k verzím Databricks Runtime, které dosáhly ukončení podpory (EoS), podívejte se na poznámky k vydání Databricks Runtime ohledně ukončení podpory. Verze EoS Databricks Runtime byly vyřazeny a nemusí se aktualizovat.

Nové funkce a vylepšení

Podpora Scala pro sdílené clustery

Sdílené clustery s podporou katalogu Unity teď podporují Scala, když používáte Databricks Runtime 13.3 a vyšší.

Seznam povolených položek pro iniciační skripty, JARs a souřadnice Mavenu ve standardních clusterech katalogu Unity - dříve sdílené clustery - je ve verzi veřejného náhledu.

Katalog Unity allowlist teď můžete použít k řízení instalace inicializačních skriptů, souřadnic JARs a Mavenu na výpočetních prostředcích pomocí standardního režimu přístupu, ve kterém běží Databricks Runtime 13.3 a vyšší. Viz Seznam povolených knihoven a inicializační skripty na výpočetních jednotkách s použitím standardního režimu přístupu (dříve sdíleného režimu přístupu).

Podpora svazků pro inicializační skripty a souborů JAR je ve verzi Public Preview.

Svazky katalogu Unity teď můžete použít k ukládání inicializačních skriptů a JAR souborů na výpočetní prostředky v režimech vyhrazeného nebo standardního přístupu s nainstalovaným Databricks Runtime 13.3 a vyšším. Viz Kde lze inicializační skripty nainstalovat? a výpočetní knihovny.

Bezpečné přetypování je ve výchozím nastavení pro operace Delta Lake zapnuté.

Operace Delta UPDATE a MERGE nyní vedou k chybě, když nelze hodnoty bezpečně převést na typ ve schématu cílové tabulky. Všechny implicitní konverze v Delta nyní následují spark.sql.storeAssignmentPolicy místo spark.sql.ansi.enabled. Viz dodržování předpisů ANSI v Databricks Runtime.

Zavádění tagů v Unity Catalogu

S Databricks Runtime 13.3 LTS a novějším můžete použít značky na zabezpečitelné objekty. Značky pomáhají uspořádat zabezpečitelné objekty a zjednodušit vyhledávání a zjišťování datových prostředků. Viz Použití značek na zabezpečitelné objekty Katalogu Unity.

Databricks Runtime vrátí chybu, pokud se soubor změní mezi plánováním dotazů a vyvoláním.

Dotazy Databricks Runtime teď vrací chybu, pokud se soubor aktualizuje mezi plánováním dotazů a vyvoláním. Před touto změnou by Databricks Runtime četl soubor mezi těmito fázemi, což občas vedlo k nepředvídatelným výsledkům.

Zablokovat přepsání schématu při použití dynamického přepisování oddílů

Nelze nastavit overwriteSchema na true ve spojení s dynamickým přepsáním oddílů v Delta Lake. To brání možnému poškození tabulky kvůli neshodě schématu. Viz Dynamické přepsání oddílů (partitionOverwriteModestarší verze).

Integrace rozhraní COPYFile API do dbutils.fs.cp

Příkaz dbutils.fs.cp dbutils copy je teď optimalizovaný pro rychlejší kopírování. Díky tomuto vylepšení můžou být operace kopírování až 100krát rychlejší v závislosti na velikosti souboru. Tato funkce je dostupná ve všech systémech souborů, které jsou přístupné v Azure Databricks, včetně připojení svazků katalogu Unity a systému souborů Databricks.

Podpora ovladačů Databricks ODBC/JDBC

Databricks podporuje ovladače ODBC a JDBC vydané v posledních 2 letech. Stáhněte si nejnovější ovladač na webu Download ODBC Driver a Stáhněte ovladač JDBC.

Podpora nepojmenovaných (pozičních) značek parametrů

Rozhraní SparkSession.sql() API teď podporuje parametrizované dotazy pomocí ? syntaxe kromě parametrizovaných dotazů pomocí :parm syntaxe. Viz značky parametrů.

Povolit označování sloupců časových řad

Při vytváření omezení primárního klíče nyní můžete označit sloupce časových řad.

Nové bitmapové funkce SQL

Azure Databricks nyní poskytla sadu funkcí, které lze použít k mapování integrálních číselných hodnot na rastrový obrázek a jejich agregaci. Dá se použít k předběžnému výpočtu počtu jedinečných hodnot.

Vylepšené funkce šifrování

Funkce aes_encrypt, aes_decrypt a try_aes_decrypt byly vylepšeny s podporou inicializačních vektorů (IV) a ověřenými dalšími daty (AAD).

Podpora katalogu Unity pro REFRESH FOREIGN

Nyní můžete aktualizovat zahraniční katalogy, schémata a tabulky v Katalogu Unity pomocí REFRESH FOREIGN CATALOG, REFRESH FOREIGN SCHEMAa REFRESH FOREIGN TABLE. Viz REFRESH FOREIGN (CATALOG, SCHEMAa TABLE).

INSERT JMÉNEM

Při vkládání řádků do tabulky můžete teď nechat Azure Databricks automaticky mapovat sloupce a pole ze zdrojového dotazu na sloupce tabulky podle jejich názvu. Viz INSERT INTO.

Sdílení materializovaných zobrazení pomocí Delta Sharing

Příkaz ALTER SHARE nyní podporuje materializovaná zobrazení.

Změny způsobující nekompatibilitu

Změny implicitního přetypování při ukládání řádků v tabulce s MERGE INTO a UPDATE

Azure Databricks se nyní řídí konfigurací spark.sql.storeAssignmentPolicy pro implicitní přetypování při ukládání řádků do tabulky. Výchozí hodnota ANSI vyvolá chybu při ukládání hodnot, které přetékají. Dříve se hodnoty ukládaly jako NULL výchozí.

Stejně jako v následujícím příkladu můžete přetečení adresovat přepsáním tabulky tak, aby používala širší typ sloupce, který chybu způsobuje.

-- Enable column mapping
ALTER TABLE MyTable SET TBLPROPERTIES (
    'delta.minReaderVersion' = '2',
    'delta.minWriterVersion' = '5',
    'delta.columnMapping.mode' = 'name'
  )

-- Rename the old column and create a new column with the new type using the old name
ALTER TABLE MyTable RENAME ID to ID_old
ALTER TABLE MyTable ADD COLUMN ID BIGINT

-- Rewrite the entire table
UPDATE MyTable SET ID = ID_old

-- Drop the old column
ALTER TABLE MyTable DROP COLUMN ID_old

Změny odvození schématu Parquet

Při odvozování schémat ze souborů Parquet, které nejsou zapsány prostřednictvím Spark, budou sloupce časových razítek anotovaných int64 mít nyní výchozí typ isAdjustedToUTC=false. Dříve byly odvozeny jako TIMESTAMP typ. Tato aktualizace vylepšuje přesnost mapování typů Parquet na typy Spark SQL.

V důsledku toho může čtení dat z externích souborů Parquet do tabulky Delta vést k chybě, pokud timestampNtz tato funkce není povolená. Chyba se zobrazí takto:

Fatal exception of the update:
com.databricks.sql.transaction.tahoe.DeltaTableFeatureException
Your table schema requires manual enablement of the following table feature(s): timestampNtz.

Chcete-li zachovat předchozí chování a zabránit této chybě, můžete nastavit parametr spark.sql.parquet.inferTimestampNTZ.enabled konfigurace Sparku na false.

Upgrady knihoven

  • Upgradované knihovny Python:
    • debugpy od 1.5.1 do 1.6.0
    • distlib od 0.3.6 do 0.3.7
    • fastjsonschema od 2.16.3 do 2.18.0
    • filelock od 3.12.0 do 3.12.2
  • Upgradované knihovny jazyka R:
    • SparkR od 3.4.0 do 3.4.1
  • Upgradované knihovny Java:
    • org.apache.orc.orc-core od 1.8.3-shaded-protobuf na 1.8.4-shaded-protobuf
    • org.apache.orc.orc-mapreduce z 1.8.3-shaded-protobuf na 1.8.4-shaded-protobuf
    • org.apache.orc.orc-shims od 1.8.3 do 1.8.4
    • org.eclipse.jetty.jetty-client od 9.4.50.v20221201 do 9.4.51.v20230217
    • org.eclipse.jetty.jetty-pokračování z 9.4.50.v20221201 až 9.4.51.v20230217
    • org.eclipse.jetty.jetty-http od 9.4.50.v20221201 do 9.4.51.v20230217
    • org.eclipse.jetty.jetty-io od 9.4.50.v20221201 do 9.4.51.v20230217
    • org.eclipse.jetty.jetty-jndi od 9.4.50.v20221201 do 9.4.51.v20230217
    • org.eclipse.jetty.jetty-plus od 9.4.50.v20221201 do 9.4.51.v20230217
    • org.eclipse.jetty.jetty-proxy z 9.4.50.v20221201 až 9.4.51.v20230217
    • org.eclipse.jetty.jetty-security od 9.4.50.v20221201 do 9.4.51.v20230217
    • org.eclipse.jetty.jetty-server od 9.4.50.v20221201 do 9.4.51.v20230217
    • org.eclipse.jetty.jetty-servlet od 9.4.50.v20221201 do 9.4.51.v20230217
    • org.eclipse.jetty.jetty-servlets z 9.4.50.v20221201 na 9.4.51.v20230217
    • org.eclipse.jetty.jetty-util od verze 9.4.50.v20221201 do verze 9.4.51.v20230217
    • org.eclipse.jetty.jetty-util-ajax od 9.4.50.v20221201 do 9.4.51.v20230217
    • org.eclipse.jetty.jetty-webapp od 9.4.50.v20221201 na 9.4.51.v20230217
    • org.eclipse.jetty.jetty-xml z 9.4.50.v20221201 až 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-api od 9.4.50.v20221201 do 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-client od 9.4.50.v20221201 do 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-common od 9.4.50.v20221201 do 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-server od 9.4.50.v20221201 do 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-servlet od 9.4.50.v20221201 do 9.4.51.v20230217
    • org.xerial.snappy.snappy-java od 1.1.8.4 do 1.1.10.1

Apache Spark

Databricks Runtime 13.3 zahrnuje Apache Spark 3.4.1. Tato verze zahrnuje všechny opravy a vylepšení Sparku zahrnuté v předchozí verzi a také následující:

  • Teď můžete nastavit proměnnou SNOWFLAKE_SPARK_CONNECTOR_VERSION=2.12 prostředí clusteru tak, aby používala konektor Spark-snowflake v2.12.0.
  • [SPARK-43380] [DBRRM-383] Revert "[SC-133100][sql] Oprava datového typu Avro...
  • [SPARK-44504] [Backport][13.2][13.x][13.3] Uvolnění zprostředkovatele, čímž vynutí zavření instance databáze a uvolnění prostředků při chybě úlohy údržby
  • [SPARK-44059] [SC-137023] Přidání podpory analyzátoru pojmenovaných argumentů pro předdefinované funkce
  • [SPARK-44485] [SC-137653][sql] Optimize TreeNode.generateTreeString
  • [SPARK-42944] [SC-137164][ss][PYTHON] Streamování ForeachBatch v Python
  • [SPARK-44446] [SC-136994][python] Přidat kontroly pro očekávané speciální případy typu seznamu
  • [SPARK-44439] [SC-136973][connect][SS]Opraveno listListeners pro odeslání pouze ID zpět klientovi
  • [SPARK-44216] [SC-136941] [PYTHON] Zveřejnit rozhraní API assertSchemaEqual
  • [SPARK-44201] [SC-136778][connect][SS]Přidat podporu pro Streaming Listener ve Scale pro Spark Connect
  • [SPARK-43915] [SC-134766][sql] Přiřaďte názvy ke třídě chyb LEGACY_ERROR_TEMP[2438-2445]
  • [SPARK-43798] Revert "[SC-133990][sql][PYTHON] Podpora Python funkcí tabulky definovaných uživatelem
  • [SPARK-44398] [SC-136720][connect] Scala foreachBatch API
  • [SPARK-44476] [SC-137169][core][CONNECT] Oprava základního souboru artefaktů pro JobArtifactState bez přidružených artefaktů
  • [SPARK-44269] [SC-135817][sql] Přiřaďte názvy ke třídě chyb LEGACY_ERROR_TEMP[2310-2314]
  • [SPARK-44395] [SC-136744][sql] Aktualizujte argumenty TVF tak, aby vyžadovaly závorky kolem identifikátoru za TABLE klíčovým slovem.
  • [SPARK-43915] [SC-134766][sql] Přiřaďte názvy ke třídě chyb LEGACY_ERROR_TEMP[2438-2445]
  • [SPARK-43995] [SC-136794][spark-43996][CONNECT] Přidání podpory pro UDFRegistration do klienta Connect Scala
  • [SPARK-44109] [SC-134755][jádro] Odstranit duplicitní upřednostňovaná umístění pro každou část RDD
  • [SPARK-44169] [SC-135497][sql] Přiřaďte názvy ke třídě chyb LEGACY_ERROR_TEMP[2300-2304]
  • [SPARK-41487] [SC-135636][sql] Přiřazení názvu _LEGACY_ERROR_TEMP_1020
  • [SPARK-44398] [SC-136720][connect] Scala foreachBatch API
  • [SPARK-44153] [SC-134977][core][UI] Podpora Heap Histogram sloupce na kartě Executors
  • [SPARK-44044] [SC-135695][ss] Zlepšení chybové zprávy pro funkce okna se streamováním
  • [SPARK-43914] [SC-135414][sql] Přiřaďte názvy ke třídě chyb LEGACY_ERROR_TEMP[2433-2437]
  • [SPARK-44217] [SC-136805][python] Povolit vlastní přesnost pro přibližnou rovnost fp
  • [SPARK-44370] [SC-136575][connect] Migrace Buf remote generation alpha do vzdálených modulů plug-in
  • [SPARK-44410] [SC-136930][python][CONNECT] Nastavení aktivní relace při vytváření, nejen getOrCreate
  • [SPARK-44348] [SAS-1910][sc-136644][13.X][core][CONNECT][python] Opětovné povolení test_artifact s relevantními změnami
  • [SPARK-44145] [SC-136698][sql] Zpětné volání, když je připraveno ke spuštění
  • [SPARK-44264] [SC-136870][python][ML] Třída FunctionPickler
  • [SPARK-43986] [SC-135623][sql] Vytvoření tříd chyb pro selhání volání funkce HyperLogLog
  • [SPARK-44139] [SC-134967][sql] Zahoďte zcela vložené filtry v operacích sloučení založené na skupinách.
  • [SPARK-44338] [SC-136718][sql] Oprava chybové zprávy o neshodě schématu zobrazení
  • [SPARK-44208] [SC-135505][core][SQL] Přiřazení jasných názvů tříd chyb pro určitou logiku, která přímo používá výjimky
  • [SPARK-44364] [SC-136773] [PYTHON] Přidat podporu pro datový typ List[Row] pro očekávané
  • [SPARK-44180] [SC-136792][sql] DistributionAndOrderingUtils by měl použít ResolveTimeZone
  • [SPARK-43389] [SC-136772][sql] Přidání kontroly hodnoty null pro možnost LineSep
  • [SPARK-44388] [SC-136695][connect] Oprava problému s přetypováním typu protobuf při aktualizaci instance UDF
  • [SPARK-44352] [SC-136373][connect] Vložte zpátky stejný typ a přátele do datového typu.
  • [SPARK-43975] [SC-134265][sql] Zdroj dat V2: Zpracování UPDATE příkazů pro zdroje založené na skupinách
  • [SPARK-44360] [SC-136461][sql] Podpora prořezávání schémat v delta operacích MERGE
  • [SPARK-44138] [SC-134907][sql] Zákaz ne deterministických výrazů, poddotazů a agregací v podmínkách SLOUČENÍ
  • [SPARK-43321] [SC-136678][connect][Followup] Lepší názvy pro rozhraní API používaná v nástroji Scala Client joinWith
  • [SPARK-44263] [SC-136447][connect] Podpora vlastních zachytávačů
  • [SPARK-39851] [SC-123383][sql] Zlepšení odhadu statistik spojení, pokud jedna strana může zachovat jedinečnost
  • [SPARK-44390] [SC-136677][core][SQL] Přejmenování SparkSerDerseUtils na SparkSerDeUtils
  • [SPARK-44004] [SC-134751][sql] Přidání názvu a vylepšení chybových zpráv pro časté chyby legace.
  • [SPARK-44322] [SC-136204][connect] Použijte analyzátor SqlApiConf místo SQLConf.
  • [SPARK-44271] [SC-136347][sql] Přesunutí výchozích hodnot funkcí z StructType do ResolveDefaultColumns
  • [SPARK-44332] [SC-136413][jádro][WEBUI] Oprava chyby řazení sloupce ID Executoru na stránce uživatelského rozhraní Executorů
  • [SPARK-44282] [SC-135948][connect] Příprava parsování datových typů pro použití v klientovi Spark Connect Scala
  • [SPARK-44349] [SC-136581][r] Přidání matematických funkcí do SparkR
  • [SPARK-44397] [SC-136647][python] Zpřístupnění assertDataFrameEqual v pyspark.testing.utils
  • [SPARK-42981] [SC-136620][connect] Přidat přímou serializaci Arrowem
  • [SPARK-44373] [SC-136577][sql] Obalit funkcí withActive pro rozhraní API datové sady s logikou analýzy, aby mohla fungovat konfigurace související s parserem
  • [SPARK-44340] [SC-136574][sql] Definujte výpočetní logiku prostřednictvím rozhraní PartitionEvaluator API a použijte ji v okněGroupLimitExec.
  • [SPARK-43665] [SC-136573][connect][PS] Povolení PandasSQLStringFormatter.vformat pro práci se Spark Connect
  • [SPARK-44325] [SC-136572][sql] Použití rozhraní API PartitionEvaluator v SortMergeJoinExec
  • [SPARK-44315] [SC-136171][sql][CONNECT] Move DefinedByConstructorParams na sql/api
  • [SPARK-44275] [SC-136184][connect] Přidání konfigurovatelného mechanismu opakování do scala Spark Connect
  • [SPARK-44326] [SC-136208][sql][CONNECT] Přesun nástrojů, které se používají z klienta Scala do běžných modulů
  • [SPARK-43321] [SC-136156][connect] Dataset#Joinwith
  • [SPARK-44343] [SC-136372][connect] Příprava ScalaReflection na přesun do SQL/API
  • [SPARK-44313] [SC-136081][sql] Oprava ověření vygenerovaného výrazu sloupce, pokud je ve schématu sloupec typu char/varchar
  • [SPARK-43963] [SC-134145][sql] Zdroj dat V2: Zpracování příkazů MERGE pro zdroje založené na skupinách
  • [SPARK-44363] [SC-136433] [PYTHON] Zobrazení procenta nerovných řádků v porovnání datových rámců
  • [SPARK-44251] [SC-136432][sql] Správně nastavte možnost nulové hodnoty u klíče pro slučování ve spojení full outer USING.
  • [SPARK-43948] [SC-133366][sql] Přiřaďte názvy ke třídě chyb LEGACY_ERROR_TEMP[0050|0057|0058|0059]
  • [SPARK-44329] [SC-136326][connect][PYTHON] Přidání hll_sketch_agg, hll_union_agg, to_varchar, try_aes_decrypt do scaly a Python
  • [SPARK-44351] [SC-136353][sql] Proveďte některé syntaktické zjednodušení.
  • [SPARK-44281] [SC-135963][sql] Přesun chyby sestavení dotazu, která souvisí s DataType, do sql/api jako DataTypeErrors
  • [SPARK-44283] [SC-136109][connect] Přesun zdroje do SQL/API
  • [SPARK-43926] [SC-135590][connect][PYTHON] Přidat arrayagg, array_size, cardinality, count_min_sketch, mask, named_struct, json* do Scala a Python
  • [SPARK-44327] [SC-136187][sql][CONNECT] Přidání funkcí any a len do Scala
  • [SPARK-44290] [SC-136300][connect] Soubory a archivy založené na relacích ve Spark Connect
  • [SPARK-44061] [SC-136299][python] Přidání funkce assertDataFrameEqual util
  • [SPARK-44331] [SC-136324][connect][PYTHON] Přidání rastrových funkcí do scaly a Python
  • [SPARK-44342] [SC-136334][sql] Nahraďte SQLContext za SparkSession pro GenTPCDSData.
  • [SPARK-42583] [SC-124190][sql] Odeberte vnější spojení, pokud jsou to všechny odlišné agregační funkce.
  • [SPARK-44333] [SC-136206][connect][SQL] Přesunutí EnhancedLogicalPlan z ParserUtils
  • [SPARK-43824] [SC-132655][spark-43825] [SQL] Přiřazení názvů ke třídě chyb _LEGACY_ERROR_TEMP_128[1-2]
  • [SPARK-43939] [SC-134602][connect][PYTHON] Přidání funkcí try_* do scaly a Python
  • [SPARK-44193] [SC-135886][connect] Implementace zachycení výjimek GRPC pro převod
  • [SPARK-44284] [SC-136107][connect] Vytvoření jednoduchého systému conf pro sql/api
  • [SPARK-43913] [SC-133368][sql] Přiřaďte názvy ke třídě chyb LEGACY_ERROR_TEMP[2426-2432]
  • [SPARK-44291] Vrátit "[SC-135924][spark-43416][CONNECT] Oprava nesprávného schématu pro dotaz rozsahu"
  • [SPARK-44312] [SC-136185][connect][PYTHON] Povolit nastavení uživatelského agenta s proměnnou prostředí
  • [SPARK-44154] [SC-136060] Implementace rastrových funkcí
  • [SPARK-43885] [SC-133996][sql] Zdroj dat V2: Zpracovat příkazy MERGE pro zdroje založené na deltách
  • [SPARK-43924] [SC-135161][connect][PYTHON] Přidání různých funkcí do Scala a Python
  • [SPARK-43969] [SC-134556][sql] Refaktoring a přiřazení názvů ke třídě chyb _LEGACY_ERROR_TEMP_1170
  • [SPARK-44185] [SC-135730][sql] Oprava nekonzistentní cesty kvalifikující se mezi katalogem a datovými operacemi
  • [SPARK-44073] [SC-134562][sql][PYTHON][connect] Přidání funkcí data a času do scaly, Python a připojení – část 2
  • [SPARK-43942] [SC-134527][connect][PYTHON] Přidání řetězcových funkcí do Scala a Python – část 1
  • [SPARK-44266] [SC-135813][sql] Přesun Util.truncatedString do sql/api
  • [SPARK-44195] [SC-135722][r] Přidání rozhraní API jmenovek úloh do SparkR SparkContext
  • [SPARK-44200] [SC-135736][sql] Podpora pravidla TABLE pro parsování argumentů pro TableValuedFunction
  • [SPARK-44254] [SC-135709][sql] Přesunutí QueryExecutionErrors, které používá DataType, do sql/api jako DataTypeErrors
  • [SPARK-44291] [SC-135924][spark-43416][CONNECT] Oprava nesprávného schématu dotazu rozsahu
  • [SPARK-43922] [SC-135612][sql] Přidání podpory pojmenovaných parametrů v analyzátoru pro volání funkcí
  • [SPARK-44300] [SC-135882][connect] Oprava odstranění artefaktů pro omezení rozsahu jejich odstranění pouze na artefakty specifické pro relaci
  • [SPARK-44293] [SC-135849][connect] Oprava neplatného identifikátoru URI pro vlastní JARy v Spark Connect
  • [SPARK-44215] [SC-135850][shuffle] Pokud jsou bloky čísel 0, měl by server vyvolat výjimku RuntimeException.
  • [SPARK-44245] [SC-135851][python] pyspark.sql.dataframe sample() doctesty by měly být pouze ilustrativní
  • [SPARK-44274] [SC-135814][connect] Přesunutí funkcí používaných nástrojem ArtifactManager do běžných funkcí/utilit
  • [SPARK-44194] [SC-135815][python][CORE] Přidání rozhraní API značek úloh do PySpark SparkContext
  • [SPARK-42828] [SC-135733][python][SQL] Explicitní Python poznámky k typům pro GroupedData
  • [SPARK-44079] [SC-135486][sql] Oprava ArrayIndexOutOfBoundsException při analýze pole jako struktury pomocí režimu PERMISSIVE s poškozeným záznamem
  • [SPARK-44255] [SC-135809][sql] Změna úrovně úložiště na common/utils
  • [SPARK-42169] [SC-135795] [SQL] Implementace generování kódu pro funkci to_csv (StructsToCsv)
  • [SPARK-44249] [SC-135719][sql][PYTHON] Refaktorování PythonUDTFRunner pro samostatné odeslání návratového typu
  • [SPARK-43353] [SC-132734][python] Migrace zbývajících chyb relace do třídy chyb
  • [SPARK-44211] [SC-135718][python][CONNECT] Implementovat SparkSession.is_stopped
  • [SPARK-42784] [SC-135691] by měl přesto vytvořit poddir, pokud je počet poddirů při slučovacím adresáři menší než conf.
  • [SPARK-41599] [SC-135616] Únik paměti v FileSystem.CACHE při odesílání aplikací do zabezpečeného clusteru pomocí InProcessLauncher
  • [SPARK-44241] [SC-135613][core] Omylem nastavení io.connectionTimeout/connectionCreationTimeout na nulu nebo zápornou hodnotu způsobí neustálé vytváření/destrukce exekutorů
  • [SPARK-44133] [SC-134795][13.x][PYTHON] Upgrade MyPy z verze 0.920 na 0.982
  • [SPARK-42941] [SC-134707][ss][CONNECT][1/2] StreamingQueryListener – Událost Serde ve formátu JSON
  • [SPARK-44188] [SC-135173][core] Odebrání zbytečné resetAllPartitions metody v ActiveJob
  • [SPARK-43757] [SC-135418][connect] Změna kompatibility klientů ze seznamu povolených na seznam odepření
  • [SPARK-43474] [SC-135521] [SS] [CONNECT] Přidejte přístup ke Spark Connect pro datové rámce v runtime podle ID.
  • [SPARK-44183] [SC-135209][python] Vytvoření PyArrow minimální verze na 4.0.0
  • [SPARK-44248] [SC-135554][ss][SQL][kafka] Přidání upřednostňovaného umístění ve zdroji Kafka v2
  • [SPARK-43929] [SC-134510][sql][PYTHON][connect] Přidání funkcí data a času do scaly, Python a rozhraní API pro připojení – část 1
  • [SPARK-44161] [SC-135326][connect] Zpracování řádkového vstupu pro uživatelsky definované funkce
  • [SPARK-44227] [SC-135520][sql] Extrahování nástrojů schemaUtils z StructField
  • [SPARK-44064] [SC-135116][core][SQL] Přidání nové apply funkce do NonFateSharingCache
  • [SPARK-44171] [SC-135269][sql] Přiřazení názvů ke třídě chyb LEGACY_ERROR_TEMP[2279-2282] a odstranění některých nepoužívaných tříd chyb
  • [SPARK-44056] [SC-134758][sql] Pokud je k dispozici, uveďte název UDF v chybové zprávě o chybě spuštění UDF.
  • [SPARK-44205] [SC-135422][sql] Extrahování kódu Catalyst z DecimalType
  • [SPARK-44220] [SC-135484][sql] Přesun StringConcat do sql/api
  • [SPARK-44146] [SC-135230][connect] Izolace souborů JAR a souborů tříd relace Spark Connect
  • [SPARK-44206] [SC-135411][sql] DataSet.selectExpr scope Session.active
  • [SPARK-40850] [SC-135417][sql] Oprava testovacích případů, kde interpretované dotazy mohou spustit Codegen
  • [SPARK-44204] [SC-135253][sql][HIVE] Přidání chybějícího záznamuHiveCall pro getPartitionNames
  • [SPARK-44237] [SC-135485][core] Zjednodušení logiky vyhledávání konstruktoru DirectByteBuffer
  • [SPARK-44189] [SC-135170][connect][PYTHON] Podpora pozičních parametrů podle sql()
  • [SPARK-44140] [SC-134893][sql][PYTHON] Podpora pozičních parametrů v Python sql()
  • [SPARK-44164] [SC-135158][sql] Extrakce metody toAttribute z StructField do třídy Util
  • [SPARK-44178] [SC-135113][connect] Podpora pozičních parametrů v sql()
  • [SPARK-43208] [SC-128955][sql][HIVE] IsolatedClassLoader by měl po přečtení zavřít třídu bariér InputStream.
  • [SPARK-43063] [SC-128382][sql] df.show Popisovač null by měl místo hodnoty null vytisknout hodnotu NULL.
  • [SPARK-42539] [SC-124464][sql][HIVE] Eliminujte samostatný zavaděč tříd při použití integrované verze Hive pro klienta metadat.
  • [SPARK-43992] [SC-133645][sql][PYTHON][connect] Přidání volitelného vzoru pro Catalog.listFunctions
  • [SPARK-44066] [SC-134878][sql] Podpora pozičních parametrů v jazyce Scala/Java sql()
  • [SPARK-44078] [SC-134869][connect][CORE] Přidání podpory pro zavaděč tříd nebo izolaci prostředků
  • [SPARK-43470] [SC-135187][core] Přidání operačního systému, Java, Python informací o verzi do protokolu aplikace
  • [SPARK-43136] [SC-135238][connect][Followup] Přidání testů pro KeyAs
  • [SPARK-39740] [SC-135093][ui]: Upgradujte časovou osu vis na 7.7.2 k opravě CVE-2020-28487
  • [SPARK-42298] [SC-133952][sql] Přiřazení názvu _LEGACY_ERROR_TEMP_2132
  • [SPARK-43961] [SC-133459][sql][PYTHON][connect] Přidání volitelného vzoru pro Catalog.listTables
  • [SPARK-44026] [SC-135181] Povolit poskytnutí počáteční hodnoty pro metriky SQL
  • [SPARK-44202] [SC-135244][core] Přidání rozhraní API jmenovek úloh do JavaSparkContext
  • [SPARK-44030] [SC-135237][sql] Implementujte DataTypeExpression, aby bylo možné poskytnout Unapply pro výrazy.
  • [SPARK-43876] Vrátit zpět [SC-134603][sql] Povolit rychlou hashmapu pro různé dotazy
  • [SPARK-40082] [SC-126437] Naplánovat mergeFinalize při push merge opakovaném pokusu shuffleMapStage, ale bez spuštěných úloh
  • [SPARK-43888] [SC-132893][jádro] Přemístění protokolování do common/utils
  • [SPARK-43474] [SC-134400] [SS] [CONNECT] Přidání správce relace do SparkConnectPlanneru
  • [SPARK-43944] [SC-134490][connect][PYTHON] Přidání řetězcových funkcí do Scala a Python – část 2
  • [SPARK-44134] [SC-134954][jádro] Oprava chyby nastavení prostředků (GPU/FPGA) na 0, když jsou tyto prostředky nastaveny ve spark-defaults.conf
  • [SPARK-44142] [SC-134947][python] Nahrazení typu tpe v nástroji pro převod typů Pythonu na typy Spark
  • [SPARK-43952] [SC-134695][core][CONNECT][sql] Přidání rozhraní API SparkContext pro zrušení dotazu podle značky
  • [SPARK-44000] [SC-133634][sql] Přidání nápovědy pro zakázání vysílání a replikace jedné strany spojení
  • [SPARK-43937] [SC-134362][connect][PYTHON] Přidání ifnull,isnotnull,equal_null,nullif,nvl,nvl2 do Scala a Pythonu
  • [SPARK-43624] [13.x][sc-134557][PS][connect] Přidejte EWM do SparkConnectPlanneru.
  • [SPARK-44040] [SC-134366][sql] Opravit výpočetní statistiky, když je uzel AggregateExec nad QueryStageExec
  • [SPARK-43485] [SC-131264][sql] Oprava chybové zprávy pro argument funkce přidání nebo rozdílu datetime
  • [SPARK-43794] [SC-132561][sql] Přiřazení názvu ke třídě chyb _LEGACY_ERROR_TEMP_1335
  • [SPARK-43511] [SC-134749][connect][SS]Implementovaná rozhraní MapGroupsWithState a FlatMapGroupsWithState API pro Spark Connect
  • [SPARK-43529] [SQL] Podpora výrazů CREATE/REPLACE TABLE OPTIONS + vyčištění kódu
  • [SPARK-44106] [SC-134750][python][CONNECT] Přidat __repr__ pro GroupedData
  • [SPARK-42299] [SC-133190] Přiřaďte název _LEGACY_ERROR_TEMP_2206
  • [SPARK-43290] [SC-134388][sql] Přidává podporu pro aes_encrypt IV a AAD
  • [SPARK-43932] [SC-134138][sql][PYTHON][connect] Přidejte current jako funkce do Scala a Python
  • [SPARK-43934] [SC-134108][sql][PYTHON][connect] Přidání funkcí regexp_* do scaly a Python
  • [SPARK-44107] [SC-134746][connect][PYTHON] Skrytí nepodporovaných metod sloupců před automatickým dokončováním
  • [SPARK-42941] [SC-134707][ss][CONNECT][1/2] StreamingQueryListener – Událost Serde ve formátu JSON
  • [SPARK-43773] [SC-132659][connect][PYTHON] Implementace funkcí levenshtein(str1, str2[, prahová hodnota]) v klientovi Pythonu
  • [SPARK-44125] [SC-134745][r] Podpora Java 21 ve SparkR
  • [SPARK-43919] [SC-133374][sql] Extrahování funkcí JSON z řádku
  • [SPARK-43769] [SC-132520][connect] Implementujte funkce levenshtein(str1, str2[, prahová hodnota])
  • [SPARK-44012] [SC-134662][ss] KafkaDataConsumer aby vytiskl některé stavy čtení
  • [SPARK-43876] [SC-134603][sql] Povolení rychlého hashmap pro různé dotazy
  • [SPARK-44024] [SC-134497][sql] Změna používání map při použití unzip pouze pro extrakci jednoho prvku
  • [SPARK-43928] [SC-134467][sql][PYTHON][connect] Přidání bitových operací do Scala, Python a Connect API.
  • [SPARK-44092] [SC-134506][core] Přidat Utils.isJavaVersionAtLeast21 a zajistit, aby modul core prošel s Java 21
  • [SPARK-44018] [SC-134512][sql] Vylepšení hashCode a toString pro některé výrazy DS V2
  • [SPARK-44105] [SC-134582][sql] LastNonNull by se měl odloženě vyřešit.
  • [SPARK-44081] [SC-134434] Trochu zjednodušit rozhraní API PartitionedFileUtil
  • [SPARK-43791] [SC-132531][sql] Přiřazení názvu ke třídě chyb _LEGACY_ERROR_TEMP_1336
  • [SPARK-44071] [SC-134435] Definujte a používejte Unresolved[Leaf|Unary]Node traits.
  • [SPARK-43852] [SC-132890][spark-43853][SPARK-43854][spark-43855][SPARK-43856] Přiřazení názvů ke třídě chyb _LEGACY_ERROR_TEMP_2418-2425
  • [SPARK-43742] [SC-132684][sql] Refaktoring výchozího rozlišení hodnoty sloupce
  • [SPARK-43493] [SC-132063][sql] Přidání argumentu maximální vzdálenosti do funkce levenshtein()
  • [SPARK-44075] [SC-134382][connect] Učinit transformStatCorr líným
  • [SPARK-43925] [SC-134381][sql][PYTHON][connect] Přidejte funkce bool_or, bool_and a every do Scaly, Python a Connect.
  • [SPARK-43931] [SC-134158][sql][PYTHON][connect] Přidání funkcí make_* do scaly a Python
  • [SPARK-43762] [SC-132602][spark-43763][SPARK-43764][spark-43765][SPARK-43766][sql] Přiřaďte názvy ke třídě chyb _LEGACY_ERROR_TEMP_24[06-10]
  • [SPARK-43962] [SC-133367][sql] Zlepšení chybových zpráv: CANNOT_DECODE_URL, , CANNOT_MERGE_INCOMPATIBLE_DATA_TYPECANNOT_PARSE_DECIMAL, CANNOT_READ_FILE_FOOTER, . CANNOT_RECOGNIZE_HIVE_TYPE.
  • [SPARK-43938] [SC-133887][connect][PYTHON] Přidání funkcí to_* do scaly a Python
  • [SPARK-44055] [SC-134321][core] Odebrání redundantních override funkcí z CheckpointRDD
  • [SPARK-43802] [SC-132597][sql] Oprava codegenu pro unhex a unbase64 s failOnError=true
  • [SPARK-43798] [SC-133990][sql][PYTHON] Podpora funkcí Python uživatelem definovaných tabulek
  • [SPARK-43941] [SC-134286][sql][PYTHON][connect] Přidání any_value, approx_percentile, count_if, first_value, histogram_numeric, last_value, redukce na Scala, Python a connect API
  • [SPARK-43380] [SC-133100][sql] Oprava problémů s převodem datových typů Avro, aby nedocházelo k nesprávným výsledkům
  • [SPARK-43803] [SC-133729] [SS] [CONNECT] Vylepšení awaitTermination() pro zpracování odpojení klienta
  • [SPARK-43179] [SC-129070][shuffle] Umožňuje aplikacím řídit, jestli se jejich metadata ukládají do databáze externí službou shuffle Service.

Podpora ovladačů Databricks ODBC/JDBC

Databricks podporuje ovladače ODBC/JDBC vydané v posledních 2 letech. Stáhněte si nedávno vydané ovladače a upgradujte (stáhněte rozhraní ODBC, stáhněte JDBC).

Viz aktualizace údržby Databricks Runtime 13.3.

Prostředí systému

  • Operační systém: Ubuntu 22.04.2 LTS
    • Poznámka: Toto je verze Ubuntu používaná kontejnery Databricks Runtime. Kontejnery Databricks Runtime běží na virtuálních počítačích poskytovatele cloudu, které můžou používat jinou verzi Ubuntu nebo linuxovou distribuci.
  • Java: Zulu 8.70.0.23-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.2.2
  • Delta Lake: 2.4.0

Nainstalované knihovny Python

Knihovna Verze Knihovna Verze Knihovna Verze
adresáře aplikací 1.4.4 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.2.1 attrs 21.4.0 zpětný hovor 0.2.0
beautifulsoup4 4.11.1 černý 22.6.0 bělit 4.1.0
blinkr 1.4 boto3 1.24.28 botocore 1.27.28
certifikát 2022.9.14 cffi 1.15.1 chardet 4.0.0
nástroj pro normalizaci znakové sady 2.0.4 klikněte 8.0.4 kryptografie 37.0.1
cyklista 0.11.0 Cython 0.29.32 Databricks-SDK 0.1.6
dbus-python 1.2.18 debugpy 1.6.0 dekoratér 5.1.1
defusedxml 0.7.1 distlib 0.3.7 převod docstringu do formátu markdown 0.12
vstupní body 0,4 provádění 1.2.0 přehled aspektů 1.0.3
fastjsonschema 2.18.0 zamykání souborů 3.12.2 nástroje pro písma 4.25.0
googleapis-common-protos 1.56.4 grpcio 1.48.1 grpcio-status 1.48.1
httplib2 0.20.2 IDNA 3.3 importlib-metadata 4.6.4
ipykernel 6.17.1 ipython 8.10.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 Jedi 0.18.1 Jeepney 0.7.1
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.2.0
jsonschema 4.16.0 klient Jupyter 7.3.4 jupyter_core 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 klíčenka 23.5.0
kiwisolver 1.4.2 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 MarkupSafe 2.0.1 matplotlib 3.5.2
matplotlib-inline 0.1.6 Mccabe 0.7.0 rozladit 0.8.4
more-itertools 8.10.0 mypy-extensions 0.4.3 nbclient 0.5.13
nbconvert 6.4.4 nbformat 5.5.0 nest-asyncio 1.5.5
nodeenv 1.8.0 poznámkový blok 6.4.12 numpy (knihovna pro numerické výpočty v Pythonu) 1.21.5
oauthlib 3.2.0 balení 21.3 Pandy 1.4.4
pandocfilters 1.5.0 Parso 0.8.3 specifikace cesty 0.9.0
bábovka 0.5.2 pexpect 4.8.0 PickleShare 0.7.5
Polštář 9.2.0 pip 22.2.2 platformdirs 2.5.2
plotly 5.9.0 Pluggy (nástroj pro správu pluginů v Pythonu) 1.0.0 prometheus-client 0.14.1
nástroj "prompt-toolkit" 3.0.36 protobuf 3.19.4 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 čistý vyhodnocení 0.2.2
pyarrow 8.0.0 pycparser 2.21 Pydantic (Python knihovna pro validaci a nastavení dat) 1.10.6
pyflakes 3.0.1 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.32 pyparsing 3.0.9
pyright 1.1.294 pyrsistent 0.18.0 python-dateutil 2.8.2
python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1 Pytoolconfig 1.2.2
knihovna pytz pro zpracování časových zón v Pythonu 2022.1 pyzmq 23.2.0 žádosti 2.28.1
lano 1.7.0 s3transfer 0.6.0 scikit-learn 1.1.1
SciPy 1.9.1 narozený v moři 0.11.2 SecretStorage 3.3.1
Send2Trash 1.8.0 setuptools (nástroj pro vytváření a distribuci Python projektů) 63.4.1 Šest 1.16.0
soupsieve 2.3.1 ssh-import-id 5,11 datová hromádka 0.6.2
statsmodels 0.13.2 houževnatost 8.1.0 dokončeno 0.13.1
testovací cesta 0.6.0 threadpoolctl 2.2.0 tokenize-rt 4.2.1
tomli 2.0.1 tornádo 6.1 Traitlets 5.1.1
rozšíření_typingu 4.3.0 ujson 5.4.0 bezobslužné aktualizace 0,1
urllib3 1.26.11 virtualenv 20.16.3 wadllib 1.3.6
wcwidth (šířka znaků) 0.2.5 webová kódování 0.5.1 whatthepatch 1.0.2
wheel 0.37.1 widgetsnbextension (rozšíření pro widgety v notebooku) 3.6.1 yapf 0.31.0
zipový uzávěr 1.0.0

Nainstalované knihovny jazyka R

Knihovny R se instalují ze snímku CRAN v Posit Správce balíčků z 2023-02-10: https://packagemanager.posit.co/cran/__linux__/jammy/2023-02-10/.

Knihovna Verze Knihovna Verze Knihovna Verze
šipka 10.0.1 žádost o heslo 1,1 ověřit, že 0.2.1
zpětné portování 1.4.1 báze 4.2.2 base64enc 0,1-3
bitové 4.0.5 64bit 4.0.5 objekt blob 1.2.3
startování 1.3-28 vařit 1.0-8 verva 1.1.3
koště 1.0.3 bslib 0.4.2 kašmír 1.0.6
volající 3.7.3 karet 6.0-93 cellranger 1.1.0
cron 2.3-59 třída 7.3-21 Rozhraní příkazového řádku 3.6.0
Clipr 0.8.0 hodiny 0.6.1 cluster 2.1.4
codetools 0.2-19 barevný prostor 2.1-0 commonmark 1.8.1
kompilátor 4.2.2 konfig 0.3.1 cpp11 0.4.3
pastelka 1.5.2 přihlašovací údaje 1.3.2 curl 5.0.0
datová tabulka 1.14.6 datové sady 4.2.2 DBI 1.1.3
dbplyr 2.3.0 Popis 1.4.2 devtools 2.4.5
diffobj 0.3.5 hodnota hash 0.6.31 dolní osvětlení 0.4.2
dplyr 1.1.0 dtplyr 1.2.2 e1071 1.7-13
tři tečky 0.3.2 hodnotit 0,20 fanoušci 1.0.4
barvy 2.1.1 Fastmap (rychlé mapování) 1.1.0 fontawesome 0.5.0
pro kočky 1.0.0 foreach 1.5.2 zahraniční 0,8-82
kovat 0.2.0 Fs 1.6.1 budoucnost 1.31.0
budoucnost.použít 1.10.0 kloktadlo 1.3.0 obecné typy 0.1.3
Gert 1.9.2 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-6 globály 0.16.2
lepidlo 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
Gower 1.0.1 Grafika 4.2.2 grDevices 4.2.2
mřížka 4.2.2 gridExtra 2.3 gsubfn 0,7
gtable 0.3.1 bezpečnostní přilba 1.2.0 útočiště 2.5.1
vyšší 0.10 Hms 1.1.2 htmlové nástroje 0.5.4
htmlwidgets (interaktivní HTML prvky) 1.6.1 httpuv 1.6.8 httr 1.4.4
Id 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.7 Iterátory 1.0.14 jquerylib 0.1.4
jsonlite 1.8.4 KernSmooth 2,23–20 knitr 1.42
značení 0.4.2 později 1.3.0 mřížka 0.20-45
láva 1.7.1 životní cyklus 1.0.3 poslouchej 0.9.0
lubridate 1.9.1 magrittr 2.0.3 Markdown 1.5
MŠE 7.3-58.2 Matice 1.5-1 zapamatujte si 2.0.1
metody 4.2.2 mgcv 1.8-41 mim 0.12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelář 0.1.10
munsell 0.5.0 nlme 3.1-162 nnet (neuronová síť) 7.3-18
numDeriv (Numerická derivace) 2016.8 - 1.1 OpenSSL 2.0.5 rovnoběžný 4.2.2
paralelně 1.34.0 pilíř 1.8.1 pkgbuild 1.4.0
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2
plogr 0.2.0 plyr 1.8.8 pochvala 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 Průběh 1.2.2
progressr 0.13.0 promisy 1.2.0.1 proto 1.0.0
proxy 0,4-27 PS 1.7.2 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
"randomForest" 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.10 RcppEigen 0.3.3.9.3
čtenář 2.1.3 readxl 1.4.2 recepty 1.0.4
odvetný zápas 1.0.1 odvetný zápas 2 2.1.2 dálkové ovladače 2.4.2
reprodukovatelný příklad 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2,20 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.20 rstudioapi 0,14 rversions 2.1.2
rvest 1.0.3 drzost 0.4.5 váhy 1.2.1
selektor 0.4-2 informace o sezení 1.2.2 obrazec 1.4.6
lesklý 1.7.4 sourcetools 0.1.7-1 sparklyr 1.7.9
SparkR 3.4.1 prostorový 7.3-15 spliny 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 statistické údaje 4.2.2
stats4 4.2.2 řetězce 1.7.12 stringr 1.5.0
přežití 3.5-3 systém 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat (nástroj pro testování) 3.1.6 formátování textu 0.3.6
tibble 3.1.8 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 1.3.2 změna času 0.2.0 datum a čas 4022.108
tinytex 0.44 nářadí 4.2.2 tzdb 0.3.0
ověřovač URL 1.0.1 použij tohle 2.1.6 utf8 1.2.3
nástroje 4.2.2 Uuid 1.1-0 vctrs 0.5.2
viridisLite 0.4.1 vrrrm 1.6.1 Waldo 0.4.0
vlákno 0.4.1 (v případě, že je možné poskytnout smysl slova "withr", by bylo možné ho přeložit) 2.5.0 xfun 0,37
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 zip (jako formát souboru) 2.2.2

Nainstalované Java a knihovny Scala (verze clusteru Scala 2.12)

ID skupiny ID artefaktu Verze
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client (klient Amazon Kinesis) 1.12.0
com.amazonaws automatické škálování aws-java-sdk 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws „aws-java-sdk-cloudsearch“ 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy (Balíček AWS SDK pro Java - CodeDeploy) 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config (konfigurace balíčku SDK pro Javu od AWS) 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier (AWS Java SDK pro Glacier) 1.12.390
com.amazonaws aws-java-sdk-glue (balíček pro vývoj softwaru v Java od AWS, určený pro Glue služby) 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-strojové učení 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway (balíček nástrojů pro přístup k AWS Storage Gateway) 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws knihovny AWS Java SDK SWF 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics datový proud 2.9.6
com.databricks Rserve 1.8-3
com.databricks Databricks SDK pro Java 0.2.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware Kryo-shaded 4.0.2
com.esotericsoftware Minlog 1.3.0
com.fasterxml spolužák 1.3.4
com.fasterxml.jackson.core jackson-annotations (poznámky Jackson) 2.14.2
com.fasterxml.jackson.core jackson-core 2.14.2
com.fasterxml.jackson.core Jackson-databind 2.14.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.14.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.14.2
com.github.ben-manes.kofein kofein 2.9.3
com.github.fommil jniloader 1,1
com.github.fommil.netlib Nativní odkaz pro Javu 1,1
com.github.fommil.netlib Nativní odkaz pro Javu Nativní verze 1.1
com.github.fommil.netlib nativní_systém-java 1,1
com.github.fommil.netlib nativní_systém-java Nativní verze 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64 Nativní verze 1.1
com.github.fommil.netlib netlib-nativní_systém-linux-x86_64 Nativní verze 1.1
com.github.luben zstd-jni 1.5.2-5
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson Gson 2.8.9
com.google.crypto.tink Tink 1.7.0
com.google.errorprone poznámky_náchylné_k_chybám 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guave 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.214
com.helger profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.VYDÁNÍ
com.lihaoyi zdrojový_kód_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk (software development kit pro úložiště dat Azure Data Lake) 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf (komprimační algoritmus LZF) 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning JSON 1.8
com.thoughtworks.paranamer Paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app-2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe konfig 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers (nástroj pro analýzu dat) 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
společné sbírky společné sbírky 3.2.2
commons-dbcp commons-dbcp 1.4
Nahrávání souborů v Commons Nahrávání souborů v Commons 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging (nástroj pro záznamy) commons-logging (nástroj pro záznamy) 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib LAPACK 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift vzduchový kompresor 0.21
io.delta delta-sharing-spark_2.12 0.7.1
io.dropwizard.metrics metriky – jádro 4.2.10
io.dropwizard.metrics metrics-graphite 4.2.10
io.dropwizard.metrics metriky – kontroly stavu 4.2.10
io.dropwizard.metrics metrics-jetty9 4.2.10
io.dropwizard.metrics Metrics-JMX 4.2.10
io.dropwizard.metrics Metriky-json 4.2.10
io.dropwizard.metrics metriky pro JVM 4.2.10
io.dropwizard.metrics metriky – servlety 4.2.10
io.netty netty-all 4.1.87.Final
io.netty netty-buffer 4.1.87.Final
io.netty netty-codec 4.1.87.Final
io.netty netty-kodek-http 4.1.87.Final
io.netty netty-codec-http2 4.1.87.Final
io.netty netty-codec-socks 4.1.87.Final
io.netty netty-common 4.1.87.Final
io.netty netty zpracovatel 4.1.87.Final
io.netty Netty-handler-proxy 4.1.87.Final
io.netty netty-resolver 4.1.87.Final
io.netty netty-transport 4.1.87.Final
io.netty netty-transport-classes-epoll 4.1.87.Final
io.netty netty-transport-classes-kqueue 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.87.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.87.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleklient_obecný 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx kolektor 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivace 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction API pro transakce 1,1
javax.xml.bind jaxb-api 2.2.11
Javolution Javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db2
net.java.dev.jna jna 5.8.0
net.razorvine marináda 1.3
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
síť.sněhová vločka snowflake-ingest-sdk 0.9.6
síť.sněhová vločka snowflake-jdbc 3.13.33
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr StringTemplate 3.2.1
org.apache.ant mravenec 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant Ant launcher 1.9.16
org.apache.arrow šipkový formát 11.0.0
org.apache.arrow jádro šipkové paměti 11.0.0
org.apache.arrow šipka-paměť-netty 11.0.0
org.apache.arrow šipkový vektor 11.0.0
org.apache.avro Avro 1.11.1
org.apache.avro avro-ipc 1.11.1
org.apache.avro avro-mapred 1.11.1
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress (softwarová knihovna pro kompresi dat) 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons Commons-text (textové nástroje) 1.10.0
org.apache.kurátor kurátor-klient 2.13.0
org.apache.kurátor kurátor-framework 2.13.0
org.apache.kurátor recepty kurátora 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-paměť 2.0.0
org.apache.derby fotbalové derby 10.14.2.0
org.apache.hadoop běhové prostředí klienta Hadoop 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc (JDBC ovladač pro Apache Hive) 2.3.9
org.apache.hive hive-llap-client (klient pro Apache Hive s možností LLAP) 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive Hive-shims 2.3.9
org.apache.hive rozhraní pro úložiště Hive 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims plánovač hive-shims 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy břečťan 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.19.0
org.apache.logging.log4j log4j-api 2.19.0
org.apache.logging.log4j log4j-core 2.19.0
org.apache.logging.log4j log4j-slf4j2-impl 2.19.0
org.apache.mesos Mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.8.4-shaded-protobuf
org.apache.orc orc-mapreduce 1.8.4-shaded-protobuf
org.apache.orc orčí podložky 1.8.4
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.22
org.apache.yetus poznámky o publiku 0.13.0
org.apache.zookeeper ošetřovatel zvířat v zoo 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.19.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino společný kompilátor 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms (framework pro práci s relačními databázemi) 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.51.v20230217
org.eclipse.jetty pokračování jetty 9.4.51.v20230217
org.eclipse.jetty jetty-http 9.4.51.v20230217
org.eclipse.jetty jetty-io 9.4.51.v20230217
org.eclipse.jetty jetty-jndi 9.4.51.v20230217
org.eclipse.jetty Jetty-plus 9.4.51.v20230217
org.eclipse.jetty proxy pro službu Jetty 9.4.51.v20230217
org.eclipse.jetty bezpečnost Jetty 9.4.51.v20230217
org.eclipse.jetty jetty-server 9.4.51.v20230217
org.eclipse.jetty jetty-servlet 9.4.51.v20230217
org.eclipse.jetty jetty-servlets 9.4.51.v20230217
org.eclipse.jetty jetty-util 9.4.51.v20230217
org.eclipse.jetty jetty-util-ajax 9.4.51.v20230217
org.eclipse.jetty Jetty-webová aplikace 9.4.51.v20230217
org.eclipse.jetty jetty-xml 9.4.51.v20230217
org.eclipse.jetty.websocket WebSocket API 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-klient 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-common 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-server 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-servlet 9.4.51.v20230217
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-lokátor 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 OSGi vyhledávač zdrojů 1.0.3
org.glassfish.hk2.external aopalliance-přebaleno 2.6.1
org.glassfish.hk2.external jakarta.inject (pokud je to potřeba, přidejte vysvětlení nebo typický český termín v závorce) 2.6.1
org.glassfish.jersey.containers jersey-container-servlet (nástroj pro zpracování požadavků v Java EE) 2.36
org.glassfish.jersey.containers jersey-container-servlet-jádro 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core Jersey-server (aplikační server frameworku Jersey) 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator Hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist Javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains anotace 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc MariaDB Java klient 2.7.4
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.8
org.roaringbitmap RoaringBitmap 0.9.39
org.roaringbitmap Podložky 0.9.39
org.rocksdb rocksdbjni 7.8.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt testovací rozhraní 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest kompatibilní s scalatestem 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.6
org.slf4j jul-to-slf4j 2.0.6
org.slf4j slf4j-api 2.0.6
org.threeten threeten-extra 1.7.1
org.tukaani xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Finální
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.1
org.yaml snakeyaml 1,33
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
  • Last updated on