Databricks Runtime 16.1 (EoS)

Poznámka:

Podpora této verze Databricks Runtime skončila. Datum ukončení podpory najdete v tématu Konec podpory a historie ukončení životnosti. Pro všechny podporované verze Databricks Runtime vizte poznámky k vydání Databricks Runtime - verze a kompatibilita.

Následující poznámky k verzi obsahují informace o modulu Databricks Runtime 16.1, který využívá Apache Spark 3.5.0.

Databricks vydala tuto verzi v prosinci 2024.

Změny chování

zásadní změna: Zpracování regulárních výrazů Photon je teď konzistentní s Apache Spark

Ve službě Databricks Runtime 15.4 a vyšší se aktualizuje zpracování regulárních výrazů ve Photonu tak, aby odpovídalo chování zpracování regulárních výrazů Apache Sparku. Dříve funkce regulárních výrazů spouštěné společností Photon, například split() a regexp_extract(), přijali některé regulární výrazy odmítnuté analyzátorem Sparku. Kvůli zachování konzistence s Apache Sparkem teď dotazy Photon pro regulární výrazy, které Spark považuje za neplatné, selžou.

Kvůli této změně se můžou zobrazit chyby, pokud kód Sparku obsahuje neplatné regulární výrazy. Například výraz split(str_col, '{'), který obsahuje nepárovanou složenou závorku a byl dříve přijat Photonem, nyní neuspěje. Pokud chcete tento výraz opravit, můžete použít escape na znak závorky: split(str_col, '\\{').

Chování Photon a Spark se také liší u některých regulárních výrazů odpovídajících ne-ASCII znakům. Aktualizuje se také tak, aby Photon odpovídal chování Apache Sparku.

Datový typ VARIANT už nejde použít s operacemi, které vyžadují porovnání.

Ve službě Databricks Runtime 16.1 a novějších není možné v dotazech, které obsahují datový typ VARIANT, použít následující klauzule ani operátory:

  • DISTINCT
  • INTERSECT
  • EXCEPT
  • UNION
  • DISTRIBUTE BY

Kromě toho nemůžete použít tyto funkce datového rámce:

  • df.dropDuplicates()
  • df.repartition()

Tyto operace provádějí porovnání a porovnání, která používají datový typ VARIANT, vytvářejí nedefinované výsledky a nejsou podporovány v Databricks. Pokud ve svých Azure Databricks úlohách nebo tabulkách používáte typ VARIANT, doporučuje Databricks následující změny:

  • Aktualizujte dotazy nebo výrazy tak, aby explicitně přetypovály hodnoty VARIANT na datové typy, které nejsouVARIANT.
  • Pokud máte pole, která je nutné použít s některou z výše uvedených operací, extrahujte tato pole z datového typu VARIANT a uložte je pomocí datových typů, které nejsouVARIANT.

Pro více informací, viz data variant dotazování.

Nové funkce a vylepšení

Aktualizace konektoru BigQuery

  • Konektor Google BigQuery byl aktualizován na použití verze 0.41.0 open-source konektoru Spark-BigQuery.

  • Konektor Google BigQuery pro Lakehouse Federation teď místo ovladače JDBC používá rozhraní API služby BigQuery Storage. Tato migrace řeší problémy s výkonem ovladače JDBC a je založená na opensourcovém konektoru Spark-BigQuery.

    Díky této změně musí být výsledky zprostředkujícího dotazu pro zobrazení BigQuery a externí tabulky zapsány do dočasných tabulek. Tyto objekty nejsou přímo uložené v úložišti BigQuery. Dočasné tabulky budou uloženy v projektu fakturace BigQuery. Ověřte, že jsou pro vaše účty služby BigQuery nastavená příslušná oprávnění. Podrobnosti najdete v tématu Spouštění federovaných dotazů vGoogle BigQuery .

Podpora kolací v Apache Sparku je ve verzi Public Preview.

Teď můžete ke sloupcům a výrazům STRING přiřazovat kolace rozlišující jazyk, nerozlišující malá a velká písmena a nerozlišující přístup. Tato seřazení se používají v porovnání řetězců, řazení, operacích seskupování a mnoha řetězcových funkcích. Viz kolace.

Podpora kolací v Delta Lake je ve veřejné zkušební verzi.

Při vytváření nebo změně tabulky Delta teď můžete definovat kolace pro sloupce. Podívejte se na podporu uspořádání pro Delta Lake.

režim LITE pro vakuum je ve verzi Public Preview.

Nyní můžete použít VACUUM table_name LITE k provedení lehčího čištění, které využívá metadata v transakčním protokolu Delta. Viz full versus lite režim a VACUUM.

Podpora parametrizace klauzule USE CATALOG with IDENTIFIER

V Databricks Runtime 16.1 a novějších je klauzule IDENTIFIER podporovaná pro příkaz USE CATALOG. S touto podporou můžete parametrizovat aktuální katalog pomocí řetězcové proměnné nebo značky parametru.

podpora COMMENT ONCOLUMN pro tabulky a zobrazení

V Databricks Runtime 16.1 a novějším podporuje příkaz COMMENT ON změny komentářů pro sloupce zobrazení a tabulky.

Nové funkce SQL

Ve službě Databricks Runtime 16.1 a novějších jsou k dispozici následující integrované funkce SQL:

Vyvolání pojmenovaného parametru pro další funkce

V Databricks Runtime 16.1 a novějších podporují následující funkce volání pojmenovaných parametrů:

Metastore Hive podporuje parametr SYNC METADATA příkazu REPAIR TABLE.

V Databricks Runtime 16.1 a novějších můžete pomocí parametru SYNC METADATA s příkazem REPAIR TABLE aktualizovat metadata spravované tabulky metastoru Hive. Viz REPAIR TABLE.

Vylepšená integrita dat pro komprimované dávky Apache Arrow

V Databricks Runtime 16.1 a novějších nyní každá LZ4 komprimovaná dávka Arrow obsahuje kontrolní součty obsahu a bloků LZ4, aby poskytovala lepší ochranu proti poškození dat. Viz popis formátu rámce LZ4 .

Přidána podpora pro metody Scala ve výpočtu ve standardním režimu přístupu Katalogu Unity (dříve režim sdíleného přístupu)

Ve službě Databricks Runtime 16.1 a novějších je ve standardním přístupovém režimu výpočetní jednotky katalogu Unity přidána podpora pro následující metody jazyka Scala: Dataset.flatMapGroups(), Dataset.mapGroups()a DataStreamWriter.foreach().

Integrovaný ovladač Teradata JDBC

V Databricks Runtime 16.1 a novějších je ovladač Teradata JDBC integrovaný do Azure Databricks. Pokud používáte ovladač JDBC ve formátu JAR, který jste nahráli přes DriverManager, je nutné přepsat skripty tak, aby explicitně používaly tento vlastní soubor JAR. V opačném případě se použije integrovaný ovladač. Tento ovladač podporuje pouze Federaci Lakehouse. Pro jiné případy použití musíte poskytnout vlastní ovladač.

Podpora StreamQueryListener pro Scala

Teď můžete použít StreamingQueryListener v jazyce Scala na výpočetních prostředcích nakonfigurovaných pomocí standardního režimu přístupu.

Integrovaný ovladač Oracle JDBC

V Databricks Runtime 16.1 a novějších je ovladač Oracle JDBC integrovaný do Azure Databricks. Pokud používáte ovladač JDBC ve formátu JAR, který jste nahráli přes DriverManager, je nutné přepsat skripty tak, aby explicitně používaly tento vlastní soubor JAR. V opačném případě se použije integrovaný ovladač. Tento ovladač podporuje pouze Federaci Lakehouse. Pro jiné případy použití musíte poskytnout vlastní ovladač.

Podrobnější přehled chyb pro tabulky Delta přístupné prostřednictvím cest

K dispozici je nové prostředí pro zobrazení chybových zpráv pro tabulky Delta, k nimž se přistupuje pomocí cest. Všechny výjimky se teď předávají uživateli. Výjimka DELTA_MISSING_DELTA_TABLE je teď vyhrazena, když se podkladové soubory nedají číst jako tabulka Delta.

Další změny

Přejmenovány chybové kódy pro zdroj strukturovaného streamování cloudFiles

Tato verze obsahuje změnu pro přejmenování následujících kódů chyb:

  • _LEGACY_ERROR_TEMP_DBR_0143 se přejmenuje na CF_INCORRECT_STREAM_USAGE.
  • _LEGACY_ERROR_TEMP_DBR_0260 se přejmenuje na CF_INCORRECT_BATCH_USAGE .

Opravy chyb

Vnořené typy nyní správně přijímají omezení na NULL.

Tato verze opravuje chybu, která ovlivňuje některé sloupce vygenerované Deltou u vnořených typů, například STRUCT. Tyto sloupce by někdy nesprávně odmítaly výrazy na základě omezení NULL nebo NOT NULL ve vnořených polích. Toto bylo opraveno.

Upgrady knihoven

  • Upgradované knihovny Python:
    • ipyflow-core od 0.0.198 do 0.0.201
    • pyccolo od 0.0.52 do 0.0.65
  • Upgradované knihovny jazyka R:
  • Upgradované knihovny Java:
    • io.delta.delta-sharing-client_2.12 od 1.2.1 do 1.2.2
    • org.lz4.lz4-java od 1.8.0 do 1.8.0-databricks-1
    • software.amazon.cryptools.AmazonCorrettoCryptoProvider od 1.6.2-linux-x86_64 do 2.4.1-linux-x86_64

Apache Spark

Databricks Runtime 16.1 zahrnuje Apache Spark 3.5.0. Tato verze zahrnuje všechny opravy a vylepšení Sparku, která jsou součástí Databricks Runtime 16.0 (EoS), a také následující další opravy chyb a vylepšení Sparku:

  • [SPARK-50482] [SC-182879][core] Zastaralá konfigurace no-op spark.shuffle.spill
  • [SPARK-50032] [SC-182706][sql][16.x] Povolit použití plně kvalifikovaného názvu kolace
  • [SPARK-50467] [SC-182823][python] Přidání __all__ pro předdefinované funkce
  • [SPARK-48898] [SC-182828][sql] Oprava chyby při zpracování variant
  • [SPARK-50441] [SC-182668][sql] Oprava parametrizovaných identifikátorů, které nefungují při odkazování na rozhraní CTE
  • [SPARK-50446] [SC-182639][python] Souběžná úroveň v Python UDF optimalizovaná pro šipky
  • [SPARK-50430] [SC-182536][core] Použijte standardní Properties.clone místo ručního klonování.
  • [SPARK-50471] [SC-182790][python] Podpora zapisovače zdroje dat založeného na šipkách Python
  • [SPARK-50466] [SC-182791][python] Vylepšení dokumentačního řetězce pro funkce pracující s řetězci – část 1
  • [SPARK-50194] [DBR16.x][sc-182593][SS][python] Integrace nového rozhraní API časovače a rozhraní API počátečního stavu s časovačem
  • [SPARK-50437] [SC-182586][ss] Snížení nákladů při vytváření deserializerů v TransformWithStateExec
  • [SPARK-49676] [DBR16.x][sc-182538][SS][python] Přidat podporu pro řetězení o...
  • [SPARK-49294] [SC-182730][ui] Přidání atributu šířky pro zaškrtávací políčko shuffle-write-time.
  • [SPARK-50426] [SC-182540][python] Vyhněte se vyhledávání statických Python zdrojů dat při použití předdefinovaných nebo Java zdrojů dat
  • [SPARK-48356] [SC-182603][sql] Podpora příkazu FOR
  • [SPARK-50333] [SC-182136][sql] Podpora codegenu pro CsvToStructs (vyvoláním & RuntimeReplaceable)
  • [SPARK-50285] [SC-182575] Metriky pro commity do instancí StagedTable
  • [SPARK-50081] [SC-182344][sql] Podpora generování kódu (codegen) pro XPath*(vyvoláním & RuntimeReplaceable)
  • [SPARK-50440] [SC-182592] [SQL] Refaktorování AttributeSeq.resolveCandidates
  • [SPARK-50067] [SC-179648][sql] Podpora Codegen pro SchemaOfCsv(voláním & RuntimeReplaceable)
  • [SPARK-49873] [SC-178577][sql] oprava selhání po sloučení při testování chyb
  • [SPARK-50118] [SC-181259][connet] Resetování izolované stavové mezipaměti při spuštění úloh
  • [SPARK-49873] [SC-178577][sql] Přiřazení správné třídy chyb pro _LEGACY_ERROR_TEMP_1325
  • [SPARK-50381] [SC-182197][core] Podpora spark.master.rest.maxThreads
  • [SPARK-46725] [SC-182448][sql] Přidat funkci DAYNAME
  • [SPARK-50270] [SC-181179][ss][PYTHON] Přidání vlastních metrik stavu pro TransformWithStateInPandas
  • [SPARK-50118] Vrátit zpět “[SC-181259][connect] Resetovat izolovanou mezipaměť stavu při spuštění úloh”
  • [SPARK-50075] [SC-181820][sql][PYTHON][connect] Přidat API pro DataFrame pro funkce s hodnotou tabulky
  • [SPARK-49470] [SC-175736][ui] Aktualizace šablon stylů datových tabulek a javascriptů z verze 1.13.5 na 1.13.11
  • [SPARK-50235] Vrátit zpět “[SC-180786][sql] Vyčištění prostředku ColumnVector po zpracování všech řádků ve ColumnarToRowExec”
  • [SPARK-50324] [SC-182278][python][CONNECT] createDataFrame trigger Config RPC nejvýše jednou
  • [SPARK-50387] [SC-182441][ss] Podmínka aktualizace pro vypršení platnosti časovače a relevantní test
  • [SPARK-50287] [SC-182400][sql] Možnosti sloučení tabulek a relací při vytváření WriteBuilderu v FileTable
  • [SPARK-50066] [SC-181484][sql] Podpora codegenu pro SchemaOfXml (vyvoláním & RuntimeReplaceable)
  • [SPARK-50092] [SC-181568][sql] Oprava chování konektoru PostgreSQL pro multidimenzionální pole
  • [SPARK-50318] [SC-181641][sql] Přidat IntervalUtils.makeYearMonthInterval k odstranění duplicitního kódu mezi interpretovaným generováním kódu
  • [SPARK-50312] [SC-181646][sql] SparkThriftServer chyba při předávání parametrů createServer, když je Kerberos true
  • [SPARK-50246] [SC-181468][sql] Přiřaďte odpovídající chybový stav pro _LEGACY_ERROR_TEMP_2167: INVALID_JSON_RECORD_TYPE
  • [SPARK-50214] [SC-180692][sql] V daném schématu by se kolace z JSON/XML neměly měnit.
  • [SPARK-50250] [SC-181466][sql] Přiřaďte odpovídající chybový stav pro _LEGACY_ERROR_TEMP_2075: UNSUPPORTED_FEATURE.WRITE_FOR_BINARY_SOURCE
  • [SPARK-50248] [SC-181467][sql] Přiřaďte odpovídající chybový stav pro _LEGACY_ERROR_TEMP_2058: INVALID_PARTITION_VALUE
  • [SPARK-50118] [SC-181259][connet] Resetování izolované stavové mezipaměti při spuštění úloh
  • [SPARK-50235] [SC-180786][sql] Vyčištění prostředku ColumnVector po zpracování všech řádků ve ColumnarToRowExec
  • [SPARK-50156] [SC-180781][sql] Integrace _LEGACY_ERROR_TEMP_2113 do UNRECOGNIZED_STATISTIC
  • [SPARK-50069] [SC-180163][sql] Integrace _LEGACY_ERROR_TEMP_0028 do UNSUPPORTED_FROM_TO_EXPRESSION
  • [SPARK-50154] [SC-180663][sql] Přiřaďte odpovídající chybový stav pro _LEGACY_ERROR_TEMP_0043: INVALID_RESET_COMMAND_FORMAT
  • [SPARK-49967] [SC-179534][sql] Podpora generování kódu pro StructsToJson(to_json)
  • [SPARK-50055] [SC-180978][sql] Přidání alternativního příkazu TryMakeInterval
  • [SPARK-50397] [SC-182367][core] Odebrání zastaralých --ip a -i argumentů z Master/Worker
  • [SPARK-50238] [SC-181434][python] Přidání podpory variant v UDF/UDTF/UDAF a Python UC UDFs
  • [SPARK-50079] [SC-179830][sql] Přiřaďte odpovídající chybový stav pro _LEGACY_ERROR_TEMP_2013: NEGATIVE_VALUES_IN_FREQUENCY_EXPRESSION
  • [SPARK-50182] [SC-180346][example] Přidání příkladu rozhraní REST API submit-sql.sh
  • [SPARK-49966] [SC-179501][sql] Použití Invoke k implementaci JsonToStructs(from_json)
  • [SPARK-50302] [SC-182518][ss] Ujistěte se, že sekundární velikosti indexů jsou stejné jako velikosti primárních indexů pro stavové proměnné TransformWithState pomocí hodnoty TTL.
  • [SPARK-50301] [SC-182241][ss][16.x] Metriky Make TransformWithState odrážejí jejich intuitivní významy.
  • [SPARK-50175] [SC-182140][sql] Změna výpočtu přednosti kolace
  • [SPARK-50148] [SC-180292][sql] StaticInvoke kompatibilní s metodou, která deklaruje vyvolání výjimky
  • [SPARK-50280] [SC-181214][python] Refaktoring řazení výsledků a vyplnění prázdného koše compute_hist
  • [SPARK-50190] [SC-182458][python] Odebrání přímé závislosti Numpy z Histogramu
  • [SPARK-50382] [SC-182368][connect] Přidání dokumentace pro obecné informace o vývoji aplikací pomocí/rozšíření Spark Connect
  • [SPARK-50296] [SC-181464][python][CONNECT] Vyhněte se použití classproperty ve threadpool pro klienta Python Connect
  • [SPARK-49566] [SC-182239][sql] Přidání syntaxe kanálu SQL pro operátor EXTEND
  • [SPARK-50036] [SC-179533][core][PYTHON] Zahrnout SPARK_LOG_SCHEMA v rámci prostředí REPL
  • [SPARK-49859] [SC-178259][connect] Nahradit ThreadPool za ThreadPoolExecutor
  • [SPARK-50141] [SC-182378][python] Přimět lpad a rpad přijímat argumenty typu Column
  • [SPARK-50379] [SC-182142][sql] Oprava zpracování DayTimeIntevalType v WindowExecBase
  • [SPARK-49954] [SC-179110][sql] Podpora codegenu pro SchemaOfJson (vyvoláním & RuntimeReplaceable)
  • [SPARK-50398] [SC-182341][core] Pro 0 použití ve skriptech Sparku použijte --help ExitCode.
  • [SPARK-50377] [SC-182238][sql] Povolit vyhodnocení skládacího modulu RuntimeReplaceable
  • [SPARK-50241] [SC-181444][sql] Nahraďte NullIntolerant Mixin metodou Expression.nullIntolerant
  • [SPARK-50084] [SC-179672][sql] Přiřaďte odpovídající chybový stav pro _LEGACY_ERROR_TEMP_3168: MISSING_TIMEOUT_CONFIGURATION
  • [SPARK-50078] [SC-179649][sql] Přiřaďte odpovídající chybový stav pro _LEGACY_ERROR_TEMP_0038: DUPLICATED_CTE_NAMES
  • [SPARK-50057] [SC-179573][sql] Přiřaďte odpovídající chybový stav pro _LEGACY_ERROR_TEMP_1049: INVALID_ATTRIBUTE_NAME_SYNTAX
  • [SPARK-50070] [SC-179579][sql] Integrace _LEGACY_ERROR_TEMP_0039 do UNSUPPORTED_SQL_STATEMENT
  • [SPARK-50378] [SC-182235][ss] Přidání vlastní metriky pro sledování času stráveného pro počáteční stav procesu v metodě transformWithState
  • [SPARK-50029] [SC-179531][sql] Učiňte StaticInvoke kompatibilní s metodami, které vrací Any.
  • [SPARK-49990] [SC-179497][sql] Zvýšení výkonu randStr
  • [SPARK-50048] [SC-179528][sql] Přiřaďte odpovídající chybový stav pro _LEGACY_ERROR_TEMP_2114: UNRECOGNIZED_STATISTIC
  • [SPARK-50053] [SC-179532][sql] Převod _LEGACY_ERROR_TEMP_2104 na INTERNAL_ERROR
  • [SPARK-49665] [SC-180054][sql] Podpora kolace pro funkce oříznutí řetězců
  • [SPARK-48549] [SC-176472][sql][PYTHON] Vylepšení funkce SQL sentences
  • [SPARK-50022] [SC-179503][core][UI] Opravte MasterPage, tak aby se skryly odkazy uživatelského rozhraní aplikace, když je uživatelské rozhraní zakázané.
  • [SPARK-50087] [SC-182152] Robustní zpracování logických výrazů v CASE WHEN pro MsSqlServer a budoucí konektory
  • [SPARK-49991] [SC-179481][sql] Zajistit, aby HadoopMapReduceCommitProtocol respektoval 'mapreduce.output.basename' při generování názvů souborů
  • [SPARK-50038] [SC-179521][sql] Přiřaďte odpovídající chybový stav pro _LEGACY_ERROR_TEMP_0008: MERGE_WITHOUT_WHEN
  • [SPARK-50236] [SC-181671][sql] Přiřaďte odpovídající chybový stav pro _LEGACY_ERROR_TEMP_1156: COLUMN_NOT_DEFINED_IN_TABLE
  • [SPARK-50021] [SC-179500][core][UI] Oprava ApplicationPage pro skrytí odkazů uživatelského rozhraní aplikace, když je uživatelské rozhraní vypnuté
  • [SPARK-49911] [SC-179111][sql] Oprava sémantiky podpory binární rovnosti
  • [SPARK-50025] [SC-179496][sql] Integrace _LEGACY_ERROR_TEMP_1253 do EXPECT_VIEW_NOT_TABLE
  • [SPARK-49829] [SC-179480][ss] Oprava chyby optimalizace při přidávání vstupu do úložiště stavů ve spojení stream-stream
  • [SPARK-50004] [SC-179499][sql] Integrace _LEGACY_ERROR_TEMP_3327 do FIELD_NOT_FOUND
  • [SPARK-50380] [SC-182210][sql] Změna pořadí AssociativeOperator by měla respektovat smlouvu v ConstantFoldingu.
  • [SPARK-50340] [SC-181859][sql] Rozbalení UDT ve vstupním dotazu INSERT
  • [SPARK-50237] [SC-181660][sql] Přiřaďte odpovídající chybový stav pro _LEGACY_ERROR_TEMP_2138-9: CIRCULAR_CLASS_REFERENCE
  • [SPARK-50258] [SC-181993][sql] Oprava problému se změněným pořadím výstupních sloupců po optimalizaci AQE
  • [SPARK-49773] [SC-178369][sql] Nezachycená výjimka Java z make_timestamp() s chybným časovým pásmem
  • [SPARK-49977] [SC-179265][sql] Použijte zásobníkové iterativní výpočty, abyste se vyhnuli vytváření četných objektů Scala List pro hluboké struktury výrazů.
  • [SPARK-50153] [SC-181591][sql] Přidej name k RuleExecutor, aby tisk protokolů QueryExecutionMetrics byl jasnější.
  • [SPARK-50320] [SC-181668][core] Udělat z --remote oficiální možnost odstraněním upozornění na experimental
  • [SPARK-49909] [SC-179492]Vrátit "[SQL] Oprava hezkého názvu některých výrazů"
  • [SPARK-50330] [SC-180720][sc-181764][SQL] Přidání tipů pro řazení a uzly oken
  • [SPARK-50364] [SC-182003][sql] Implementace serializace pro typ LocalDateTime v Row.jsonValue
  • [SPARK-50016] [SC-182139][sql] Přiřaďte odpovídající chybový stav pro _LEGACY_ERROR_TEMP_2067: UNSUPPORTED_PARTITION_TRANSFORM
  • [SPARK-49899] [SC-181175][python][SS] Podporovat deleteIfExists pro TransformWithStateInPandas
  • [SPARK-49757] [SC-177824][sql] Podpora IDENTIFIER výrazu v příkazu SETCATALOG
  • [SPARK-50315] [SC-181886][sql] Podpora vlastních metrik pro zápisy V1Fallback
  • [SPARK-42838] [SC-181509][sql] Přiřazení názvu ke třídě chyb _LEGACY_ERROR_TEMP_2000
  • [SPARK-50353] [SC-181985][sql] Přepracování ResolveSQLOnFile
  • [SPARK-48344] [SC-181967][sql] Příprava skriptování SQL pro přidání architektury Execution Framework
  • [SPARK-49345] [SC-174786][connect] Ujistěte se, že používáte aktuální spuštěnou relaci Sparku.
  • [SPARK-49925] [SC-178882][sql] Přidat testy pro řazení pomocí kolatovaných řetězců
  • [SPARK-50167] [SC-181199][python][CONNECT] Vylepšení chybových zpráv, importů a vykreslování v PySpark
  • [SPARK-49368] [SC-174999][connect] Vyhněte se přímému přístupu k třídám typu protobuf lite.
  • [SPARK-50056] [SC-181378][sql] Podpora generování kódu pro ParseUrl (vyvoláním & RuntimeReplaceable)
  • [SPARK-49601] [SC-180770][ss][PYTHON] Podpora počátečního zpracování stavu pro TransformWithStateInPandas
  • [SPARK-49908] [SC-178768][sql] Přiřazení správného chybového stavu pro _LEGACY_ERROR_TEMP_0044
  • [SPARK-50144] [SC-180307][ss] Řešení omezení výpočtů metrik se zdroji streamování DSv1
  • [SPARK-49874] [SC-178303][sql] Odeberte specifikátory řazení pro trim a ltrim.
  • [SPARK-49513] [SC-180339][ss] Přidání podpory časovače v transformWithStateInPandas API
  • [SPARK-49119] [SC-175607][sql] Oprava nekonzistence syntaxe show columns mezi v1 a v2
  • [SPARK-49206] [SC-173704][core][UI] Přidejte tabulku Environment Variables do masteru EnvironmentPage
  • [SPARK-49934] [SC-179581][sql] Přidání implicitního přetypování pro přístup k sestavené mapě pomocí literálu
  • [SPARK-50049] [SC-181659][sql] Podpora vlastních metrik ovladačů při zápisu do tabulky v2
  • [SPARK-50171] [SC-180295][python] Udělat numpy volitelným pro vykreslení KDE
  • [SPARK-49962] [SC-179320][sql] Zjednodušení hierarchie tříd AbstractStringTypes
  • [SPARK-50226] [SC-181483][sql] Oprava makeDTInterval a MakeYMInterval pro zachycení výjimek Java
  • [SPARK-48775] [SC-170801][sql][STS] Nahradit SQLContext SparkSession ve službě STS
  • [SPARK-49015] [SC-175688][core] Connect Server by měl respektovat spark.log.structuredLogging.enabled
  • [SPARK-50327] [SC-181667][sql][16.x] Vytknout vyhodnocení funkce pro opakované použití v jednopruchodovém analyzátoru
  • [SPARK-49995] [SC-180762][sql] Přidání podpory pojmenovaných argumentů do dalších souborů TVF
  • [SPARK-49268] [SC-174903][core] Výjimky vstupně-výstupních operací protokolu v poskytovateli historie SHS
  • [SPARK-48123] [SC-164989][core] Zadejte schéma konstantní tabulky pro dotazování strukturovaných protokolů.
  • [SPARK-49217] [SC-174904][core] Podpora samostatné konfigurace velikosti vyrovnávací paměti v UnsafeShuffleWriter
  • [SPARK-50325] [SC-181664][sql][16.x] Rozlišení aliasů pro opětovné použití v analyzátoru s jedním průchodem
  • [SPARK-50322] [SC-181665][sql] Oprava parametrizovaného identifikátoru v dílčím dotazu
  • [SPARK-48400] [SC-175283][core] Zvýšení úrovně PrometheusServlet na DeveloperApi
  • [SPARK-50118] Vrátit zpět “[SC-181259][connect] Resetovat izolovanou mezipaměť stavu při spuštění úloh”
  • [SPARK-50306] [SC-181564][python][CONNECT] Podpora Python 3.13 ve Spark Connect
  • [SPARK-50152] [SC-181264][ss] Podpora handleInitialState společně s čtečkou zdrojových dat pro stav
  • [SPARK-50260] [SC-181271][connect] Refaktoring, optimalizace Spark C...
  • [SPARK-47591] [SC-163090][sql] Hive-thriftserver: Migrace logInfo s proměnnými do architektury strukturovaného protokolování
  • [SPARK-49312] [SC-174672][python] Zlepšení chybové zprávy pro assertSchemaEqual
  • [SPARK-49439] [SC-175236][sql] Oprava hezkého názvu výrazu FromProtobuf & ToProtobuf
  • [SPARK-50092] [ES-1258521] Oprava chování konektoru PostgreSQL pro multidimenzionální pole
  • [SPARK-49913] [SC-181565][sql] Přidat kontrolu jedinečných názvů popisků ve vnořených oborech s označeními
  • [SPARK-49563] [SC-181465][sql] Přidání syntaxe kanálu SQL pro operátor WINDOW
  • [SPARK-49661] [SC-179021][sql] Implementujte hashování a porovnávání kolací s odstraněním mezer.
  • [SPARK-38912] [SC-181543][python] Odeberte komentář související s classmethod a property.
  • [SPARK-49770] [16.x][sc-179802][SC-179270][ss][RocksDB Hardening] Vylepšení správy mapování souborů SST RocksDB a oprava potíží s opětovným načtením stejné verze s existujícím snímkem.
  • [SPARK-49002] Vrátit zpět “[SC-172846][sql] Konzistentně zpracovat neplatná umístění v WAREHOUSE /SCHEMA/TABLE/PARTITION/ DIRECTORY
  • [SPARK-49668] [SC-178268][sql] Implementace podpory kompletačních klíčů pro trim kolaci
  • [SPARK-50262] [SC-181193][sql] Zakázat specifikaci složitých typů při změně kolace
  • [SPARK-48898] [SC-181435][sql] Přidejte funkce variantového shreddingu
  • [SPARK-48273] [SC-181381]Vrátit “[SQL] Oprava opožděného přepsání PlanWithUnresolvedIdentifier”
  • [SPARK-50222] [SC-180706][core] Podpora spark.submit.appName
  • [SPARK-50208] [SC-180662][core] Podpora spark.master.useDriverIdAsAppName.enabled
  • [SPARK-50224] [SC-180689][sql] Nahrazení IsValidUTF8|ValidateUTF8|TryValidateUTF8|MakeValidUTF8 musí mít vlastnost NullIntolerant
  • [SPARK-50247] [SC-180962][core] Definujte BLOCK_MANAGER_REREGISTRATION_FAILED jako ExecutorExitCode
  • [SPARK-50282] [SC-181221][ml] Zjednodušte TargetEncoderModel.transform
  • [SPARK-50112] [SC-180763][sql] Povolení operátoru TransformWithState používat kódování Avro
  • [SPARK-50267] [SC-181180][ml] Vylepšení TargetEncoder.fit pomocí rozhraní API datového rámce
  • [SPARK-37178] [SC-180939][ml] Přidání cílového kódování do ml.feature
  • [SPARK-50118] [SC-181259][connet] Resetování izolované stavové mezipaměti při spuštění úloh
  • [SPARK-50085] [CHOVÁNÍ-176][sc-179809][PYTHON] Umožněte lit(ndarray) s np.int8 respektovat datový typ numpy
  • [SPARK-50256] [SC-181048][sql] Přidejte zjednodušené ověřování, abyste zkontrolovali, jestli se po každém pravidlu optimalizátoru nevyřeší logický plán.
  • [SPARK-50196] [SC-180932][connect] Oprava kontextu chyby Python pro použití správného kontextu
  • [SPARK-50274] [SC-181181][core] Ochrana proti použití po uzavření v DirectByteBufferOutputStream
  • [SPARK-49999] [SC-180063][python][CONNECT] Podpora volitelného parametru „sloupec“ v grafech typu krabicový, KDE a histogramu.
  • [SPARK-50273] [SC-181178][ss] Vylepšení protokolování pro případy získání a vydání zámku RocksDB
  • [SPARK-50033] [SC-180720][sc-180659][SQL] Přidejte nápovědu k logickému uzlu Aggregate()
  • [SPARK-50163] [16.x][sc-180201][SC-180664][ss] Oprava nadměrného uvolnění zámku v RocksDB kvůli posluchači dokončení
  • [SPARK-50253] [SC-180969][ss] Stream-Stream Připojení by nemělo načítat ID kontrolního bodu, pokud není podporováno.
  • [SPARK-50255] [SC-180964][python] Zamezte zbytečnému přetypování v compute_hist
  • [SPARK-50228] [SC-180780][sql] Přesunutí pravidla RewriteCollationJoin do FinishAnalysis
  • [SPARK-50001] [SC-179524][python][PS][connect] Upravte „precision“ tak, aby byla součástí argumentů kwargs pro krabicové grafy.
  • [SPARK-49637] [SC-180160][sql] Změna chybové zprávy pro INVALID_FRACTION_OF_SECOND
  • [SPARK-49530] [SC-180658][python] Získání aktivní relace z datových rámců
  • [SPARK-50195] [SC-180654][core] Oprava StandaloneRestServer pro správné šíření spark.app.name na SparkSubmit
  • [SPARK-50229] [SC-180773] Snižte využití paměti u ovladačů pro široká schémata snížením životnosti objektů AttributeReference vytvořených během logického plánování.
  • [SPARK-50231] [SC-180815][python] Upravit funkci instr pro přijímání sloupce substring
  • [SPARK-49854] [SC-179812][16.x][SQL] Naklonování správce artefaktů během klonování relace
  • [SPARK-50219] [SC-180694][sql] Přepracovat ApplyCharTypePadding, aby bylo možné pomocné metody použít v překladači s jedním průchodem.
  • [SPARK-50077] [SC-179827][sql] Představuje nový objekt vzoru pro LogicalRelation, který vám pomůže vyhnout se výchozímu vzoru úplného vzoru parametrů.
  • [SPARK-50128] [Backport][16x][SC-180677][ss] Přidání rozhraní API pro zpracování stavového procesoru pomocí implicitních kodérů v jazyce Scala
  • [SPARK-50061] [SC-179961][sql] Povolení analýzy tabulek pro kompletované sloupce
  • [SPARK-49993] [SC-180084][sql] Zlepšení chybových zpráv pro součet a průměr
  • [SPARK-49638] [SC-179665][sql] Odstranění návrhu konfigurace ANSI v INVALID_URL
  • [SPARK-50204] [SC-180660][sql] Oddělit HiveTableRelation překlad cesty čtení
  • [SPARK-50193] [SC-180651][ss] Oprava zpracování výjimek pro ověřování časových režimů
  • [SPARK-50179] [SC-180342][core] Nastavení vlastnosti spark.app.name volitelné v rozhraní REST API
  • [SPARK-50068] [SC-180300][sql] Refaktoring TypeCoercion a AnsiTypeCoercion pro oddělení transformací s jedním uzlem
  • [SPARK-49411] [SC-179483][ss] Předávání ID kontrolního bodu úložiště stavu mezi ovladačem a stavovými operátory
  • [SPARK-50124] [SC-180294][sql] LIMIT/OFFSET by se mělo zachovat pořadí dat.
  • [SPARK-49506] [SC-180165][sql] Optimize ArrayBinarySearch pro skládací pole
  • [SPARK-50097] [SC-179908][sql] Přiřaďte odpovídající chybový stav pro _LEGACY_ERROR_TEMP_1248: ALTER_TABLE_SERDE_FOR_DATASOURCE_TABLE
  • [SPARK-50071] [SC-180159][sql][PYTHON] Přidání try_make_timestamp(_ltz a _ntz) a souvisejících testů
  • [SPARK-50054] [SC-180228][python][CONNECT] Podpora grafů histogramů
  • [SPARK-50015] [SC-179964][sql] Přiřaďte odpovídající chybový stav pro _LEGACY_ERROR_TEMP_1125: MISSING_DATABASE_FOR_V1_SESSION_CATALOG
  • [SPARK-50155] [SC-180240][3.5] Přesunutí souborů scala a Java do výchozích složek
  • [SPARK-49980] [SC-180353][core][SQL] Oprava potenciálního úniku streamů souborů způsobených přerušením zrušených úloh
  • [SPARK-49010] [SC-172304][sql][XML] Přidání jednotkových testů pro citlivosti odvozování schématu XML
  • [SPARK-49562] [SC-180211][sql] Přidání syntaxe kanálu SQL pro agregaci
  • [SPARK-49663] [SC-180239][sql] Povolení návrhů RTRIM ve výrazech kolace
  • [SPARK-48965] [SC-175926][sql] Použijte správné schéma v Dataset#toJSON
  • [SPARK-48493] [SC-175893][python] Vylepšení čtečky zdrojů dat pro Python s podporou přímé dávky Arrow pro zlepšení výkonu
  • [SPARK-49734] [SC-180226][python] Přidání argumentu seed pro funkci shuffle
  • [SPARK-50174] [16.x][sc-180253][SQL] Vyčlenit řešení UnresolvedCatalogRelation
  • [SPARK-49989] [SC-179512][python][CONNECT] Podpora grafů kde/hustota
  • [SPARK-49805] [SC-180218][sql][ML] Odebrání privátních[xxx] funkcí z function.scala
  • [SPARK-49808] [SC-179490][sql] Oprava zablokování v provádění poddotazů kvůli opožděným valům
  • [SPARK-49929] [SC-180144][python][CONNECT] Podpora krabicových diagramů
  • [SPARK-50008] [SC-179290][ps][CONNECT] Vyhněte se zbytečným operacím v attach_distributed_sequence_column
  • [SPARK-49767] [SC-180161][ps][CONNECT] Refaktorovat interní vyvolání funkci
  • [SPARK-49683] [SC-178341][sql] Blokování ořezání kolace
  • [SPARK-49939] [SC-178941][sql] Podpora generování kódu pro json_object_keys (při použití & RuntimeReplaceable)
  • [SPARK-50031] [SC-179582][sql] Přidání výrazu TryParseUrl
  • [SPARK-49766] [SC-178933][sql] Podpora codegenu pro json_array_length (autor: Invoke & RuntimeReplaceable)
  • [SPARK-50046] [SC-180026][ss] K výpočtu vodoznaku použijte stabilní pořadí uzlu EventTimeWatermark.
  • [SPARK-49540] [SC-180145][ps] Sjednotit využití distributed_sequence_id
  • [SPARK-50060] [SC-179965][sql] Zakázán převod mezi různými kompletovanými typy v TypeCoercion a AnsiTypeCoercion
  • [SPARK-49004] [SC-173244][connect] Pro interní funkce rozhraní COLUMN API použijte samostatný registr.
  • [SPARK-49811] [SC-177888][sql] Přejmenovat StringTypeAnyCollation
  • [SPARK-49202] [SC-180059][ps] Použít ArrayBinarySearch pro histogram
  • [SPARK-49203] [SC-175734][sql] Přidání výrazu pro java.util.Arrays.binarySearch
  • [SPARK-50034] [SC-179816][core] Oprava nesprávného hlášení fatálních chyb jako nezachycených výjimek v SparkUncaughtExceptionHandler
  • [SPARK-50093] [SC-179836][sql] Kolace, které používají ICU, by měly mít verzi používané knihovny ICU.
  • [SPARK-49985] [SC-179644][sql] Odstranění podpory pro typy intervalů ve Variantě
  • [SPARK-49103] [SC-173066][core] Podpora spark.master.rest.filters
  • [SPARK-50090] [SC-179819] Refaktorujte ResolveBinaryArithmetic, aby oddělil transformaci na jednotlivé uzly
  • [SPARK-49902] [SC-179650][sql] Zachycení základních chyb modulu runtime v RegExpReplace
  • [SPARK-49126] [SC-173342][core] Přesun definice konfigurace spark.history.ui.maxApplications do History.scala
  • [SPARK-50094] [SC-179820][python][CONNECT] Lepší chybová zpráva při použití profileru paměti v editorech bez čísel řádků
  • [SPARK-50062] [SC-179835][sql] Podpora kolací podle InSet
  • [SPARK-50035] [Backport][16x][SC-179530][ss] Přidání podpory pro explicitní funkci handleExpiredTimer v části stavového procesoru
  • [SPARK-49982] [SC-179814][sql] Oprava negativního ukládání do mezipaměti v InMemoryRelation
  • [SPARK-49082] [SC-173350][sql] Rozšíření povýšení typů v AvroDeserializer
  • [SPARK-50088] [SC-179680][sql] Refaktorovat UnresolvedStarBase.expand
  • [SPARK-49802] [SC-179482][ss] Přidat podporu pro čtení kanálu změn pro typy map a seznamů používaných ve stavových procesorech
  • [SPARK-49846] [SC-179506][ss] Přidejte metriky numUpdatedStateRows a numRemovedStateRows pro použití s operátorem transformWithState
  • [SPARK-50050] [SC-179643][python][CONNECT][16.x] Umožnit, aby lit přijímal instance typu str a bool z numpy ndarray
  • [SPARK-49821] [SC-179527][ss][PYTHON] Implementace MapState a podpory TTL pro TransformWithStateInPandas
  • [SPARK-49558] [SC-179485][sql] Přidání syntaxe kanálu SQL pro LIMIT/OFFSET a ORDER/SORT/CLUSTER/DISTRIBUTE BY
  • [SPARK-48144] [SC-165725][lc-4080][SQL] Oprava canPlanAsBroadcastHashJoin pro dodržování tipů pro shuffle spojení
  • [SPARK-50051] [SC-179571][python][CONNECT] Udělat, aby lit fungovalo s prázdným numpy ndarray
  • [SPARK-50018] [SC-179488][sql] Udělat AbstractStringType serializovatelný
  • [SPARK-50016] [SC-179491][sql] Vylepšení chybové zprávy pro explicitní neshodu kolace
  • [SPARK-50010] [SC-179487][sql] Rozšíření chyby implicitní neshody kolace
  • [SPARK-48749] [SC-170116][sql] Zjednodušení unaryPositive a eliminace pravidel katalyzátoru s modulem RuntimeReplaceable
  • [SPARK-49857] [SC-178576][sql] Přidání úrovně úložiště do rozhraní API localCheckpoint datové sady
  • [SPARK-50058] [SC-179538][sql] Vyjmout funkce pro normalizaci plánu pro pozdější použití při testování analyzátoru s jedním průchodem
  • [SPARK-50052] [SC-179535][python][16.X] Umožnit, aby NumpyArrayConverter podporoval prázdnou str ndarray
  • [SPARK-47261] [SC-173665][sql] Přiřaďte lepší název chyb _LEGACY_ERROR_TEMP_1172, _LEGACY_ERROR_TEMP_1173 a _LEGACY_ERROR_TEMP_1174
  • [SPARK-49147] [SC-173471][core] Označte KryoRegistrator s rozhraním DeveloperApi
  • [SPARK-48949] [SC-173070][sql] SPJ: Filtrování oddílů modulu runtime
  • [SPARK-50044] [SC-179523][python] Zpřesnit docstring několika matematických funkcí.
  • [SPARK-48757] [SC-170113][core] IndexShuffleBlockResolver má explicitní konstruktory
  • [SPARK-50037] [SQL] Refaktorování AttributeSeq.resolve(...)
  • [SPARK-48782] [SC-177056][sql] Přidání podpory pro provádění procedur v katalogech
  • [SPARK-49057] [SC-173081][sql] Neblokujte smyčku AQE při odesílání fází dotazu.
  • [SPARK-48824] [SC-176772][behave-167][SQL] Syntaxe přidání sloupce identity SQL
  • [SPARK-48773] [SC-170773] Konfigurace dokumentu Spark.default.parallelism podle architektury tvůrce konfigurace
  • [SPARK-48735] [SC-169810][sql] Zlepšení výkonu pro funkci BIN
  • [SPARK-48900] [SC-172433] Přidejte pole reason pro všechna interní volání pro zrušení úlohy/fáze
  • [SPARK-48488] [SC-167605][core] Oprava metod log[info|warning|error] v SparkSubmit
  • [SPARK-48708] [SC-169809][jádro] Odstranění tří nepotřebných registrací typů z KryoSerializer
  • [SPARK-49958] [SC-179312][python] API pro validaci řetězců v Pythonu
  • [SPARK-49979] [SC-179264][sql] Oprava závady způsobující zablokování AQE při opakovaném sběru na chybném plánu
  • [SPARK-48729] [SC-169795][sql] Přidání rozhraní UserDefinedFunction pro reprezentaci funkce SQL
  • [SPARK-49997] [SC-179279][sql] Integrace _LEGACY_ERROR_TEMP_2165 do MALFORMED_RECORD_IN_PARSING
  • [SPARK-49259] [SC-179271][ss]Vytváření oddílů na základě velikosti během čtení Kafka
  • [SPARK-48129] [SC-165006][python] Poskytnutí schématu konstantní tabulky v PySparku pro dotazování strukturovaných protokolů
  • [SPARK-49951] [SC-179259][sql] Přiřazení správného chybového stavu pro LEGACY_ERROR_TEMP(1099|3085)
  • [SPARK-49971] [SC-179278][sql] Přiřazení správného chybového stavu pro _LEGACY_ERROR_TEMP_1097
  • [SPARK-49998] [SC-179277][sql] Integrace _LEGACY_ERROR_TEMP_1252 do EXPECT_TABLE_NOT_VIEW
  • [SPARK-49876] [SC-179262][connect] Zbavit se globálních zámků ze služby Spark Connect Service
  • [SPARK-49957] [SC-179202][sql] Scala API pro funkce ověřování řetězců
  • [SPARK-48480] [SC-173055][ss][CONNECT] StreamingQueryListener by neměl mít vliv na Spark.interrupt()
  • [SPARK-49643] [SC-179239][sql] Sloučení _LEGACY_ERROR_TEMP_2042 do ARITHMETIC_OVERFLOW
  • [SPARK-49959] [SC-179109][sql] Oprava ColumnarArray.copy() pro čtení hodnot null ze správného posunu
  • [SPARK-49956] Vrátit zpět “[SC-179070] Deaktivované kolace s výrazem collect_set”
  • [SPARK-49987] [SC-179180][sql] Oprava výzvy k chybě při nepřekládání seedExpression v randstr
  • [SPARK-49948] [SC-179158][ps][CONNECT] Přidání parametru "přesnost" do knihovny pandas v grafu Spark boxu
  • [SPARK-49970] [SC-179167][sql] Přiřazení správného chybového stavu pro _LEGACY_ERROR_TEMP_2069
  • [SPARK-49916] [SC-179108][sql] Vyvolá odpovídající výjimku pro neshodu typů mezi typem ColumnType a datovým typem v některých řádcích
  • [SPARK-49956] [SC-179070] Zakázané třídění s výrazem collect_set
  • [SPARK-49974] [16.x][sc-179071][SQL] Přesunout resolveRelations(...) z Analyzer.scala
  • [SPARK-47259] [SC-176437][sql] Přiřazení názvů chybovým stavům pro intervalové chyby
  • [SPARK-47430] [SC-173679][sql] Přepracování seskupení podle typu mapy pro opravu výjimky vázání referencí
  • [SPARK-49067] [SC-172616][sql] Přesun literálu utf-8 do interních metod třídy UrlCodec
  • [SPARK-49955] [SC-178989][sql] hodnota null neznamená poškozený soubor při analýze řetězce JSON RDD.
  • [SPARK-49393] [SC-175212][sql] Ve výchozím režimu selžou používaná zastaralá rozhraní API katalogového pluginu
  • [SPARK-49952] [SC-178985][sql] Přiřazení správného chybového stavu pro _LEGACY_ERROR_TEMP_1142
  • [SPARK-49405] [SC-175224][sql] Omezení znakových sad v JsonOptions
  • [SPARK-49892] [SC-178975][sql] Přiřazení správné třídy chyb pro _LEGACY_ERROR_TEMP_1136
  • [SPARK-49904] [SC-178973][sql] Přiřazení správného chybového stavu pro _LEGACY_ERROR_TEMP_2140
  • [SPARK-47257] [SC-174244][sql] Přiřazení názvů ke třídám chyb _LEGACY_ERROR_TEMP_105[3-4] a _LEGACY_ERROR_TEMP_1331
  • [SPARK-49915] [SC-178869][sql] Zpracování nul a jednotek v ReorderAssociativeOperator
  • [SPARK-49891] [SC-178970][sql] Přiřazení správného chybového stavu pro _LEGACY_ERROR_TEMP_2271
  • [SPARK-49918] [SC-178748][core] Použijte přístup k konfiguraci jen pro čtení v SparkContext tam, kde je to vhodné.
  • [SPARK-49666] [SC-177891][sql] Přidání konfiguračního příznaku pro funkci úprav kolace
  • [SPARK-48885] [SC-171050][sql] Upravte některé podtřídy RuntimeReplaceable na lazy val
  • [SPARK-49932] [SC-178931][core] Uvolněte tryWithResource zdroje JsonUtils#toJsonString a tím předejděte únikům paměti.
  • [SPARK-49949] [SC-178978][ps] Vyhněte se zbytečným úlohám analýzy v attach_sequence_column
  • [SPARK-49924] [SC-178935][sql] Zachovat containsNull po nahrazení ArrayCompact
  • [SPARK-49121] [SC-174787][sql] Podpora from_protobuf a to_protobuf pro funkce SQL
  • [SPARK-47496] [SC-160529][sql] podpora Java SPI pro dynamické registraci dialektu JDBC
  • [SPARK-49359] [SC-174895][sql] Povolit implementaci StagedTableCatalog přejít na neatomický zápis
  • [SPARK-49895] [SC-178543][sql][ES-1270338] Zlepšení chyby při výskytu koncové čárky v klauzuli SELECT
  • [SPARK-47945] [SC-163457][sql] MsSQLServer: Dokumentace mapování datových typů Spark SQL z Microsoft SQL Server a přidání testů
  • [SPARK-46037] [SC-175495][sql] Oprava správnosti pro sestavení Shuffled Hash Join vlevo bez generování kódu
  • [SPARK-47813] [SC-162615][sql] Nahraďte getArrayDimension aktualizací ExtraColumnMeta
  • [SPARK-49542] [SC-178765][sql] Výjimka při transformaci oddílu: chyba vyhodnocení
  • [SPARK-47172] [SC-169537][core] Přidání podpory pro AES-GCM pro šifrování RPC
  • [SPARK-47666] [SC-161476][sql] Oprava NPE při čtení bitového pole mysql jako LongType
  • [SPARK-48947] [SC-174239][sql] Pro snížení počtu chybějících položek v mezipaměti v Charset.forName použijte název znakové sady malými písmeny.
  • [SPARK-49909] [SC-178552][sql] Oprava hezkého názvu některých výrazů
  • [SPARK-47647] [SC-161377][sql] Umožňuje, aby zdroj dat MySQL mohl číst bit (n>1) jako BinaryType, jako je Postgres
  • [SPARK-46622] [SC-153004][core] Přepsat metodu toString pro o.a.s.network.shuffledb.StoreVersion
  • [SPARK-48961] [SC-171910][python] Nastavení pojmenování parametrů PySparkException v souladu s JVM
  • [SPARK-49889] [SC-178474][python] Přidání trim argumentů pro funkcetrim/ltrim/rtrim
  • [SPARK-47537] [SC-160747][sql] Oprava chybného mapování datových typů na MySQL Connector/J
  • [SPARK-47628] [SC-161257][sql] Řeší problém s bitovým polem Postgres, které nelze přetypovat na logickou hodnotu.
  • [SPARK-49843] [SC-178084][es-1268164][SQL] Oprava změny komentáře u sloupců char/varchar
  • [SPARK-49549] [SC-178764][sql] Přiřaďte název chybovému stavu _LEGACY_ERROR_TEMP_3055, 3146
  • [SPARK-49791] [SC-177730][sql] Učinit DelegatingCatalogExtension rozšiřitelnějším
  • [SPARK-49559] [SC-178551][sql] Přidat SQL pipe syntax pro množinové operace
  • [SPARK-49906] [SC-178536][sql] Zavedení a využití chyby CONFLICTING_DIRECTORY_STRUCTURES pro PartitioningUtils
  • [SPARK-49877] [SC-178392][sql] Změna podpisu funkce classifyException: přidání argumentu isRuntime
  • [SPARK-47501] [SC-160532][sql] Přidejte funkci convertDateToDate, podobně jako existující convertTimestampToTimestamp pro JdbcDialect.
  • [SPARK-49044] [SC-175746][sql] ValidateExternalType by měl vrátit podřízený v případě chyby.
  • [SPARK-47462] [SC-160460][sql] Zarovnání mapování jiných nepodepsaných číselných typů pomocí TINYINT v MySQLDialect
  • [SPARK-47435] [SC-160129][sql] Oprava problému s přetečením MySQL UNSIGNED TINYINT způsobeného SPARK-45561
  • [SPARK-49398] [SC-176377][sql] Vylepšení chyby parametrů v dotazu CACHE TABLE a CREATE VIEW
  • [SPARK-47263] [SC-177012][sql] Přiřazení názvů ke starším podmínkám _LEGACY_ERROR_TEMP_13[44-46]
  • [SPARK-49605] [SC-176605][sql] Oprava výzvy, když ascendingOrder je DataTypeMismatch v SortArray
  • [SPARK-49806] [SC-178304][sql][CONNECT] Odebrat redundantní blank space po show v klientech Scala a Connect
  • [SPARK-47258] [SC-175032][sql] Přiřazení názvů ke třídám chyb _LEGACY_ERROR_TEMP_127[0-5]
  • [SPARK-49564] [SC-178461][sql] Přidání syntaxe kanálu SQL pro operátor JOIN
  • [SPARK-49836] [SC-178339][sql][SS] Oprava pravděpodobně nefunkčního dotazu při zadání okna/session_window fn
  • [SPARK-47390] [SC-163306][sc-159312][SPARK-47396][sc-159376][SPARK-47406] Řešení mapování časových razítek SQL pro Postgres a MySQL
  • [SPARK-49776] [SC-177818][python][CONNECT] Podpora výsečových grafů
  • [SPARK-49824] [SC-178251][ss][CONNECT] Zlepšení protokolování v SparkConnectStreamingQueryCache
  • [SPARK-49894] [SC-178460][python][CONNECT] Upřesněte řetězcovou reprezentaci operací polí sloupců.
  • [SPARK-49764] [SC-177491][python][CONNECT] Diagramy oblastí podpory
  • [SPARK-49694] [SC-177376][python][CONNECT] Podpora bodových grafů
  • [SPARK-49744] [SC-178363][ss][PYTHON] Implementace podpory TTL pro ListState v TransformWithStateInPandas
  • [SPARK-49879] [SC-178334][core] Přesunutí TransportCipherUtil do samostatného souboru, aby se eliminovala upozornění na kompilaci Java
  • [SPARK-49866] [SC-178353][sql] Vylepšení chybové zprávy pro popis tabulky se sloupci oddílů
  • [SPARK-49867] [SC-178302][es-1260570][SQL] Vylepšení chybové zprávy, když je index mimo meze, při volání GetColumnByOrdinal
  • [SPARK-49607] [SC-177373][python] Aktualizujte přístup vzorkování pro vzorkované grafy.
  • [SPARK-49626] [SC-177276][python][CONNECT] Podpora vodorovných a svislých pruhových grafů
  • [SPARK-49531] [SC-177770][python][CONNECT] Podpora čárového grafu s backendem plotly
  • [SPARK-49444] [SC-177692][es-1203248][SQL] Upravená funkce UnivocityParser tak, aby vyvolala výjimky modulu runtime způsobené ArrayIndexOutOfBounds s více uživatelsky orientovanými zprávami
  • [SPARK-49870] [SC-178262][python] Přidání podpory Python 3.13 ve Spark Classic
  • [SPARK-49560] [SC-178121][sql] Přidání syntaxe kanálu SQL pro operátor TABLESAMPLE
  • [SPARK-49864] [SC-178305][sql] Zlepšení zprávy BINARY_ARITHMETIC_OVERFLOW
  • [SPARK-48780] [SC-170274][sql] Zpřehlednit chyby v NamedParametersSupport, aby se daly obecně použít při zpracování funkcí a procedur
  • [SPARK-49358] [SC-178158][sql] Režimový výraz pro datové typy map se seřazenými řetězci
  • [SPARK-47341] [SC-178157][sql] Oprava nepřesné dokumentace modulu RuntimeConfig#get
  • [SPARK-48357] [SC-178153][sql] Podpora příkazu LOOP
  • [SPARK-49845] [SC-178059][core] appArgs a environmentVariables volitelné v rozhraní REST API
  • [SPARK-49246] [SC-174679][sql] TableCatalog#loadTable by měl indikovat, jestli se jedná o zápis.
  • [SPARK-48048] [SC-177525][sc-164846][CONNECT][ss] Přidána podpora naslouchacího procesu na straně klienta pro Scala
  • [SPARK-48700] [SC-177978][sql] Výraz módu pro komplexní typy (všechna kolace)
  • [SPARK-48196] [SC-177899][sql] Převést plány QueryExecution lazy val na LazyTry
  • [SPARK-49749] [16.x][sc-177877][CORE] Změna úrovně protokolu pro ladění v BlockManagerInfo
  • [SPARK-49561] [SC-177897][sql] Přidání syntaxe kanálu SQL pro operátory PIVOT a UNPIVOT
  • [SPARK-49823] [SC-177885][ss] Vyhněte se vyprázdnění během vypnutí v cestě uzavírání rocksdb
  • [SPARK-49820] [SC-177855] [PYTHON] Změna raise IOError na raise OSError
  • [SPARK-49653] [SC-177266][sql] Jedno spojení pro korelované skalární poddotazy
  • [SPARK-49552] [SC-177477][python] Přidání podpory rozhraní DATAFrame API pro nové funkce randstr a Uniform SQL
  • [SPARK-48303] [16.x][sc-166251][CORE] Změna uspořádání klíčů protokolu
  • [SPARK-49656] [16x][backport][SS] Přidat podporu stavových proměnných s typy stavových kolekcí hodnot a možnostmi změny datového kanálu pro čtení
  • [SPARK-48112] [SC-165129][connect] Zpřístupnit relaci ve SparkConnectPlanneru pro pluginy
  • [SPARK-48126] [16.x][sc-165309][Core] Zprovoznit spark.log.structuredLogging.enabled
  • [SPARK-49505] [SC-176873][sql] Vytvoření nových funkcí SQL "randstr" a "uniform" pro generování náhodných řetězců nebo čísel v rozsahech
  • [SPARK-49463] [SC-177474] Podpora ListState pro TransformWithStateInPandas
  • [SPARK-48131] [SC-165007][core] Sjednocení klíčů MDC mdc.taskName a task_name
  • [SPARK-49557] [SC-177227][sql] Přidání syntaxe kanálu SQL pro operátor WHERE
  • [SPARK-49323] [16.x][sc-174689][CONNECT] Přesunutí mockObserveru z testovací složky serveru Spark Connect Server do hlavní složky serveru
  • [SPARK-49745] [SC-177501][ss] Přidat změnu k čtení registrovaných časovačů pomocí čtečky zdroje dat stavu
  • [SPARK-49772] [16.x][sc-177478][SC-177214][ss] Odeberte columnFamilyOptions a přidejte konfigurace přímo do dbOptions v RocksDB.

Podpora ovladačů Databricks ODBC/JDBC

Databricks podporuje ovladače ODBC/JDBC vydané v posledních 2 letech. Stáhněte si nedávno vydané ovladače a upgrade (stáhnout ODBC, stáhnout JDBC).

Viz Aktualizace údržby Databricks Runtime 16.1.

Systémové prostředí

  • Operační systém: Ubuntu 24.04.1 LTS
    • Poznámka: Toto je verze Ubuntu používaná kontejnery Databricks Runtime. Kontejnery Databricks Runtime běží na virtuálních počítačích poskytovatele cloudu, které můžou používat jinou verzi Ubuntu nebo linuxovou distribuci.
  • Java: Zulu17.54+21-CA
  • Scala: 2.12.15
  • Python: 3.12.3
  • R: 4.4.0
  • Delta Lake: 3.2.1

Nainstalované knihovny Python

Knihovna Verze Knihovna Verze Knihovna Verze
anotované typy 0.7.0 asttokens 2.0.5 astunparse 1.6.3
automatické příkazy 2.2.2 Azure Core 1.31.0 úložiště blobů Azure 12.23.0
Azure úložiště - soubor - datové jezero 12.17.0 backports.tarfile 1.2.0 černý 24.4.2
blinkr 1.7.0 boto3 1.34.69 botocore 1.34.69
nástroje pro ukládání do mezipaměti 5.3.3 certifikát 2024.6.2 cffi 1.16.0
chardet 4.0.0 normalizátor znakových sad (charset-normalizer) 2.0.4 klikni 8.1.7
cloudpickle 2.2.1 Komunikace 0.2.1 obrysová křivka 1.2.0
kryptografie 42.0.5 cyklista 0.11.0 Cython 3.0.11
Databricks SDK 0.30.0 dbus-python 1.3.2 debugpy 1.6.7
dekoratér 5.1.1 Zavrhovaný 1.2.14 distlib 0.3.8
docstring na markdown 0.11 vstupní body 0,4 provádění 0.8.3
přehled aspektů 1.1.1 zamčení souboru 3.15.4 nástroje pro písma 4.51.0
gitdb 4.0.11 GitPython 3.1.37 google-api-core 2.20.0
google-auth (autentizace) 2.35.0 google-cloud-core 2.4.1 úložiště Google Cloud 2.18.2
google-crc32c 1.6.0 google-resumable-media (pro snadné stahování/ukládání mediálních dat) 2.7.2 googleapis-common-protos 1.65.0
grpcio 1.60.0 grpcio-status 1.60.0 httplib2 0.20.4
IDNA 3.7 importlib-metadata 6.0.0 importlib_resources 6.4.0
skloňovat 7.3.1 ipyflow-core je jádrová komponenta systému ipyflow 0.0.201 ipykernel 6.28.0
ipython 8.25.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jaraco.context 5.3.0 jaraco.functools 4.0.1
jaraco.text 3.12.1 Jedi 0.19.1 jmespath 1.0.1
joblib 1.4.2 klient Jupyter 8.6.0 jupyter_core 5.7.2
kiwisolver 1.4.4 launchpadlib 1.11.0 lazr.restfulclient 0.14.6
lazr.uri 1.0.6 matplotlib 3.8.4 matplotlib-inline 0.1.6
Mccabe 0.7.0 mlflow-odlehčená 2.15.1 more-itertools 10.3.0
mypy 1.10.0 mypy-extensions 1.0.0 nest-asyncio 1.6.0
nodeenv 1.9.1 numpy (knihovna pro numerické výpočty v Pythonu) 1.26.4 oauthlib 3.2.2
opentelemetry-api 1.27.0 opentelemetry-sdk 1.27.0 opentelemetry-sémantické-konvence 0,48b0
balení 24.1 Pandy 1.5.3 Parso 0.8.3
specifikace cesty 0.10.3 bábovka 0.5.6 pexpect 4.8.0
polštář 10.3.0 pip 24,2 platformdirs 3.10.0
plotly 5.22.0 Pluggy (nástroj pro správu pluginů v Pythonu) 1.0.0 nástroj "prompt-toolkit" 3.0.43
proto-plus 1.24.0 protobuf 4.24.1 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 čistý eval 0.2.2
pyarrow 15.0.2 pyasn1 0.4.8 pyasn1-modules 0.2.8
pyccolo 0.0.65 pycparser 2.21 Pydantic (Python knihovna pro validaci a nastavení dat) 2.8.2
pydantic_core 2.20.1 pyflakes 3.2.0 Pygments 2.15.1
PyGObject 3.48.2 PyJWT 2.7.0 pyodbc 5.0.1
pyparsing 3.0.9 pyright 1.1.294 python-dateutil 2.9.0.post0
python-lsp-jsonrpc 1.1.2 python-lsp-server 1.10.0 Pytoolconfig 1.2.6
knihovna pytz pro zpracování časových zón v Pythonu 2024.1 PyYAML 6.0.1 pyzmq 25.1.2
požadavky 2.32.2 lano 1.12.0 Rsa 4,9
s3transfer 0.10.2 scikit-learn 1.4.2 SciPy 1.13.1
narozený v moři 0.13.2 setuptools (nástroj pro vytváření a distribuci Python projektů) 74.0.0 Šest 1.16.0
smmap 5.0.0 sqlparse 0.5.1 ssh-import-id 5.11
datová hromádka 0.2.0 statsmodels 0.14.2 houževnatost 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
tornádo 6.4.1 drobné vlastnosti 5.14.3 typová ochrana 4.3.0
typy–protobuf 3.20.3 types-psutil 5.9.0 types-pytz 2023.3.1.1
types-PyYAML 6.0.0 typy-žádostí 2.31.0.0 types-setuptools 68.0.0.0
typy-šest 1.16.0 types-urllib3 1.26.25.14 rozšíření_typingu 4.11.0
ujson 5.10.0 bezobslužné aktualizace 0,1 urllib3 1.26.16
virtualenv 20.26.2 wadllib 1.3.6 wcwidth (šířka znaku) 0.2.5
whatthepatch 1.0.2 wheel 0.43.0 zavinul 1.14.1
yapf 0.33.0 zipový uzávěr 3.17.0

Nainstalované knihovny jazyka R

Knihovny R se instalují ze snímku CRAN Posit Správce balíčkůu dne 4. 8. 2024: https://packagemanager.posit.co/cran/2024-08-04/.

Knihovna Verze Knihovna Verze Knihovna Verze
šíp 16.1.0 požádejte o heslo 1.2.0 ověř, že 0.2.1
zpětné portace 1.5.0 báze 4.4.0 base64enc 0,1-3
bigD 0.2.0 trochu 4.0.5 64bit 4.0.5
bitops 1.0-8 objekt blob 1.2.4 bota 1.3-30
vařit 1.0-10 verva 1.1.5 koště 1.0.6
bslib 0.8.0 kašmír 1.1.0 volající 3.7.6
stříška 6.0-94 cellranger 1.1.0 cron 2.3-61
třída 7.3-22 CLI 3.6.3 Clipr 0.8.0
hodiny 0.7.1 cluster 2.1.6 codetools 0.2-20
barevný prostor 2.1-1 commonmark 1.9.1 kompilátor 4.4.0
konfig 0.3.2 rozpolcený 1.2.0 cpp11 0.4.7
pastelka 1.5.3 přihlašovací údaje 2.0.1 kroucení 5.2.1
datová tabulka 1.15.4 Datové sady 4.4.0 DBI 1.2.3
dbplyr 2.5.0 Popis 1.4.3 devtools 2.4.5
schéma 1.6.5 diffobj 0.3.5 hodnota hash 0.6.36
světlo dolů 0.4.4 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 tři tečky 0.3.2 hodnotit 0.24.0
fanoušci 1.0.6 barvy 2.1.2 rychlé mapování 1.2.0
fontawesome 0.5.2 knihovna 'forcats' 1.0.0 foreach 1.5.2
zahraniční 0.8–86 kovat 0.2.0 fs 1.6.4
budoucnost 1.34.0 budoucnost.použít 1.11.2 kloktadlo 1.5.2
obecné typy 0.1.3 Gert 2.1.0 ggplot2 3.5.1
Gh 1.4.1 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globály 0.16.3 lepidlo 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
grafika 4.4.0 grDevices 4.4.0 mřížka 4.4.0
gridExtra 2.3 gsubfn 0,7 Gt 0.11.0
gtable 0.3.5 bezpečnostní přilba 1.4.0 útočiště 2.5.4
vyšší 0.11 HMS 1.1.3 htmlové nástroje 0.5.8.1
htmlwidgets (interaktivní HTML prvky) 1.6.4 httpuv 1.6.15 httr 1.4.7
httr2 1.0.2 identifikátory 1.0.1 ini 0.3.1
ipred 0.9-15 isoband 0.2.7 Iterátory 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 šťavnatý džus 0.1.0
KernSmooth 2.23-22 knitr 1.48 značení 0.4.3
později 1.3.2 mříž 0.22-5 láva 1.8.0
životní cyklus 1.0.4 poslouchej 0.9.1 lubridate 1.9.3
magrittr 2.0.3 Markdown 1.13 MŠE 7.3-60.0.1
Matice 1.6-5 zapamatovat si 2.0.1 metody 4.4.0
mgcv 1.9-1 mim 0.12 miniUI 0.1.1.1
mlflow 2.14.1 ModelMetrics 1.2.2.2 modelář 0.1.11
munsell 0.5.1 nlme 3.1-165 nnet (neuronová síť) 7.3-19
numDeriv (Numerická derivace) 2016.8 - 1.1 OpenSSL 2.2.0 rovnoběžný 4.4.0
paralelně 1.38.0 pilíř 1.9.0 pkgbuild 1.4.4
pkgconfig 2.0.3 pkgdown 2.1.0 pkgload 1.4.0
plogr 0.2.0 plyr 1.8.9 pochvala 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.4
prodlim 2024.06.25 profvis 0.3.8 pokrok 1.2.3
progressr 0.14.0 sliby 1.3.0 proto 1.0.0
proxy 0,4-27 P.S. 1.7.7 purrr 1.0.2
R6 2.5.1 ragg 1.3.2 "randomForest" 4.7-1.1
rappdirs 0.3.3 Analýza rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.13 RcppEigen 0.3.4.0.0 reaktivní 0.4.4
reactR 0.6.0 čtenář 2.1.5 readxl 1.4.3
recepty 1.1.0 odvetný zápas 2.0.0 odvetný zápas 2 2.1.2
dálkové ovladače 2.5.0 případ reprodukovatelného problému 2.1.1 reshape2 1.4.4
rlang 1.1.4 rmarkdown 2,27 RODBC 1.3-23
roxygen2 7.3.2 rpart 4.1.23 rprojroot 2.0.4
Rserve 1.8–13 RSQLite 2.3.7 rstudioapi 0.16.0
rversions 2.1.2 rvest 1.0.4 drzost 0.4.9
váhy 1.3.0 selektor 0.4-2 informace o sezení 1.2.2
obrazec 1.4.6.1 lesklý 1.9.1 sourcetools 0.1.7-1
sparklyr 1.8.6 SparkR 3.5.0 prostorový 7.3-17
spliny 4.4.0 sqldf 0.4-11 SQUAREM 2021.1
statistické údaje 4.4.0 Stats4 4.4.0 řetězce 1.8.4
stringr 1.5.1 přežití 3.6-4 naparování 5.17.14.1
systém 3.4.2 systemfonts 1.1.0 tcltk 4.4.0
testthat (nástroj pro testování) 3.2.1.1 tvarování textu 0.4.0 tibble 3.2.1
tidyr 1.3.1 tidyselect 1.2.1 tidyvere 2.0.0
změna času 0.3.0 časDatum 4032.109 tinytex 0,52
nářadí 4.4.0 tzdb 0.4.0 kontrola URL 1.0.1
použij toto 3.0.0 utf8 1.2.4 nástroje 4.4.0
UUID (unicelně unikátní identifikátor) 1.2-1 V8 4.4.2 vctrs 0.6.5
viridisLite 0.4.2 vrrrrm 1.6.5 Waldo 0.5.2
fous 0.4.1 (v případě, že je možné poskytnout smysl slova "withr", by bylo možné ho přeložit) 3.0.1 xfun 0.46
xml2 1.3.6 xopen 1.0.1 xtable 1.8-4
yaml (YAML Ain't Markup Language), formát pro serializaci dat 2.3.10 zeallot 0.1.0 ZIP 2.3.1

Nainstalované Java a knihovny Scala (verze clusteru Scala 2.12)

ID skupiny ID artefaktu Verze
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client (klient Amazon Kinesis) 1.12.0
com.amazonaws aws-java-sdk pro automatické škálování 1.12.638
com.amazonaws aws-java-sdk-cloudformation 1.12.638
com.amazonaws aws-java-sdk-cloudfront 1.12.638
com.amazonaws aws-java-sdk-cloudhsm 1.12.638
com.amazonaws „aws-java-sdk-cloudsearch“ 1.12.638
com.amazonaws aws-java-sdk-cloudtrail 1.12.638
com.amazonaws aws-java-sdk-cloudwatch 1.12.638
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.638
com.amazonaws aws-java-sdk-codedeploy (Balíček AWS SDK pro Java - CodeDeploy) 1.12.638
com.amazonaws aws-java-sdk-cognitoidentity 1.12.638
com.amazonaws aws-java-sdk-cognitosync 1.12.638
com.amazonaws aws-java-sdk-config (konfigurace balíčku SDK pro Javu od AWS) 1.12.638
com.amazonaws aws-java-sdk-core 1.12.638
com.amazonaws aws-java-sdk-datapipeline 1.12.638
com.amazonaws aws-java-sdk-directconnect 1.12.638
com.amazonaws aws-java-sdk-directory 1.12.638
com.amazonaws aws-java-sdk-dynamodb 1.12.638
com.amazonaws aws-java-sdk-ec2 1.12.638
com.amazonaws aws-java-sdk-ecs 1.12.638
com.amazonaws aws-java-sdk-efs 1.12.638
com.amazonaws aws-java-sdk-elasticache 1.12.638
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.638
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.638
com.amazonaws aws-java-sdk-elastictranscoder 1.12.638
com.amazonaws aws-java-sdk-emr 1.12.638
com.amazonaws aws-java-sdk-glacier (AWS Java SDK pro Glacier) 1.12.638
com.amazonaws aws-java-sdk-glue (balíček pro vývoj softwaru v Java od AWS, určený pro Glue služby) 1.12.638
com.amazonaws aws-java-sdk-iam 1.12.638
com.amazonaws aws-java-sdk-importexport 1.12.638
com.amazonaws aws-java-sdk-kinesis 1.12.638
com.amazonaws aws-java-sdk-kms 1.12.638
com.amazonaws aws-java-sdk-lambda 1.12.638
com.amazonaws aws-java-sdk-logs 1.12.638
com.amazonaws aws-java-sdk-strojové učení 1.12.638
com.amazonaws aws-java-sdk-opsworks 1.12.638
com.amazonaws aws-java-sdk-rds 1.12.638
com.amazonaws aws-java-sdk-redshift 1.12.638
com.amazonaws aws-java-sdk-route53 1.12.638
com.amazonaws aws-java-sdk-s3 1.12.638
com.amazonaws aws-java-sdk-ses 1.12.638
com.amazonaws aws-java-sdk-simpledb 1.12.638
com.amazonaws aws-java-sdk-simpleworkflow 1.12.638
com.amazonaws aws-java-sdk-sns 1.12.638
com.amazonaws aws-java-sdk-sqs 1.12.638
com.amazonaws aws-java-sdk-ssm 1.12.638
com.amazonaws aws-java-sdk-storagegateway (balíček nástrojů pro přístup k AWS Storage Gateway) 1.12.638
com.amazonaws aws-java-sdk-sts 1.12.638
com.amazonaws podpora AWS Java SDK 1.12.638
com.amazonaws knihovny AWS Java SDK SWF 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.638
com.amazonaws jmespath-java 1.12.638
com.clearspring.analytics datový proud 2.9.6
com.databricks Rserve 1.8-3
com.databricks Databricks SDK pro Java 0.27.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware technologie kryo-stínění 4.0.2
com.esotericsoftware Minlog 1.3.0
com.fasterxml spolužák 1.3.4
com.fasterxml.jackson.core jackson-annotations (poznámky Jackson) 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core Jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.kofein kofein 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib Nativní odkaz pro Javu 1.1
com.github.fommil.netlib Nativní odkaz pro Javu Verze 1.1 pro místní uživatele
com.github.fommil.netlib nativní_systém-java 1.1
com.github.fommil.netlib nativní_systém-java Verze 1.1 pro místní uživatele
com.github.fommil.netlib netlib-native_ref-linux-x86_64 Verze 1.1 pro místní uživatele
com.github.fommil.netlib netlib-nativní_systém-linux-x86_64 Verze 1.1 pro místní uživatele
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson Gson 2.10.1
com.google.crypto.tink Cink 1.9.0
com.google.errorprone anotace_náchylné_k_chybám 2.10.0
com.google.flatbuffers flatbuffers-java 23. 5. 2026
com.google.guava guave 15,0
com.google.protobuf protobuf-java 3.25.1
com.helger profiler 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.VYDÁNÍ
com.lihaoyi zdrojový_kód_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk (sada nástrojů pro vývojáře softwaru) 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.microsoft.sqlserver mssql-jdbc 11.2.3.jre8
com.ning compress-lzf (komprimační algoritmus LZF) 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning JSON 1.8
com.thoughtworks.paranamer Paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app-2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe konfig 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers (nástroj pro analýzu dat) 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
společné sbírky společné sbírky 3.2.2
commons-dbcp commons-dbcp 1.4
nahrávání souborů na commons nahrávání souborů na commons 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging (nástroj pro záznamy) commons-logging (nástroj pro záznamy) 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib LAPACK 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift vzduchový kompresor 0.27
io.delta delta-sharing-client_2.12 1.2.2
io.dropwizard.metrics anotace metrik 4.2.19
io.dropwizard.metrics metriky – jádro 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metriky – kontroly stavu 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics Metrics-JMX 4.2.19
io.dropwizard.metrics Metriky-json 4.2.19
io.dropwizard.metrics metriky pro JVM 4.2.19
io.dropwizard.metrics metriky – servlety 4.2.19
io.netty netty-all 4.1.108.Final
io.netty netty-buffer 4.1.108.Final
io.netty netty-codec 4.1.108.Final
io.netty netty-kodek-http 4.1.108.Final
io.netty netty-codec-http2 4.1.108.Final
io.netty netty-codec-socks 4.1.108.Final
io.netty netty-common 4.1.108.Final
io.netty obslužný handler v Netty 4.1.108.Final
io.netty Netty-handler-proxy 4.1.108.Final
io.netty netty-resolver 4.1.108.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-windows-x86_64
io.netty netty-tcnative-classes (softwarová knihovna) 2.0.61.Final
io.netty Netty transport 4.1.108.Final
io.netty netty-transport-classes-epoll 4.1.108.Final
io.netty netty-transport-classes-kqueue 4.1.108.Final
io.netty netty-transport-native-epoll 4.1.108.Final
io.netty netty-transport-native-epoll 4.1.108.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.108.Final-linux-riscv64
io.netty netty-transport-native-epoll 4.1.108.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.108.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.108.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.108.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleklient_obecný 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx kolektor 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivace 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transakční API 1.1
javax.xml.bind jaxb-api 2.2.11
Javolution Javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine nakládačka 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
síť.sněhová vločka snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr StringTemplate 3.2.1
org.apache.ant mravenec 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant Ant launcher 1.10.11
org.apache.arrow formát se šipkami 15.0.0
org.apache.arrow Jádro paměti Arrow 15.0.0
org.apache.arrow šipka-paměť-netty 15.0.0
org.apache.arrow vektorová šipka 15.0.0
org.apache.avro Avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress (softwarová knihovna pro kompresi dat) 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons Commons-text (textové nástroje) 1.10.0
org.apache.kurátor kurátor-klient 2.13.0
org.apache.kurátor kurátorský rámec 2.13.0
org.apache.kurátor kurátorské recepty 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-paměť 2.0.0
org.apache.derby fotbalové derby 10.14.2.0
org.apache.hadoop hadoop-klient-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc (JDBC ovladač pro Apache Hive) 2.3.9
org.apache.hive hive-llap-client (klient pro Apache Hive s možností LLAP) 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive Hive-shims 2.3.9
org.apache.hive rozhraní pro úložiště Hive 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims plánovač hive-shims 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy břečťan 2.5.2
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j šablona rozložení log4j ve formátu JSON 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orčí podložky 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus poznámky pro publikum 0.13.0
org.apache.zookeeper ošetřovatel zvířat 3.9.2
org.apache.zookeeper zookeeper-jute 3.9.2
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-kompilátor 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms (systém pro řízení relačních databází) 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty Jetty pokračování 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty Jetty-plus 9.4.52.v20230823
org.eclipse.jetty proxy pro službu Jetty 9.4.52.v20230823
org.eclipse.jetty bezpečnost Jetty 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty Jetty webová aplikace 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket API 9.4.52.v20230823
org.eclipse.jetty.websocket klient WebSocket 9.4.52.v20230823
org.eclipse.jetty.websocket websocket - společné prvky 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-lokátor 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 vyhledávač zdrojů OSGi 1.0.3
org.glassfish.hk2.external aopalliance-přebaleno 2.6.1
org.glassfish.hk2.external jakarta.inject (pokud je to potřeba, přidejte vysvětlení nebo typický český termín v závorce) 2.6.1
org.glassfish.jersey.containers jersey-container-servlet (nástroj pro zpracování požadavků v Java EE) 2.40
org.glassfish.jersey.containers jersey-container-servlet-jádro 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core společný jersey 2.40
org.glassfish.jersey.core Jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator Hibernate-Validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist Javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains anotace 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0-databricks-1
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap Vymezovací podložky 0.9.45-databricks
org.rocksdb rocksdbjni 9.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-java8-compat_2.12 0.9.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt testovací rozhraní 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.16
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest kompatibilní s scalatestem 3.2.16
org.scalatest scalatest-core_2.12 3.2.16
org.scalatest scalatest-diagrams_2.12 3.2.16
org.scalatest scalatest-featurespec_2.12 3.2.16
org.scalatest scalatest-flatspec_2.12 3.2.16
org.scalatest scalatest-freespec_2.12 3.2.16
org.scalatest scalatest-funspec_2.12 3.2.16
org.scalatest scalatest-funsuite_2.12 3.2.16
org.scalatest scalatest-matchers-core_2.12 3.2.16
org.scalatest scalatest-mustmatchers_2.12 3.2.16
org.scalatest scalatest-propspec_2.12 3.2.16
org.scalatest scalatest-refspec_2.12 3.2.16
org.scalatest scalatest-shouldmatchers_2.12 3.2.16
org.scalatest scalatest-wordspec_2.12 3.2.16
org.scalatest scalatest_2.12 3.2.16
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel kočky-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Finální
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 2.4.1-linux-x86_64
Stax stax-api 1.0.1
  • Last updated on