Databricks Runtime 15.2 (EoS)

Poznámka:

Podpora této verze Databricks Runtime skončila. Datum ukončení podpory najdete v tématu Konec podpory a historie ukončení životnosti. Pro všechny podporované verze Databricks Runtime vizte poznámky k vydání Databricks Runtime - verze a kompatibilita.

Následující poznámky k verzi obsahují informace o modulu Databricks Runtime 15.2, který využívá Apache Spark 3.5.0.

Databricks vydala tuto verzi v květnu 2024.

Změny chování

Vakuování vyčistí soubory metadat COPY INTO

Spuštění VACUUM v tabulce napsané pomocí COPY INTO teď vyčistí neodkazovaná metadata spojená se sledováním přijatých souborů. Na provozní sémantiku COPY INTOnení žádný vliv .

Federace Lakehouse je obecně dostupná (GA)

Ve službě Databricks Runtime 15.2 a novějších jsou konektory Lakehouse Federation v následujících typech databází obecně dostupné (GA):

  • MySQL
  • PostgreSQL
  • Amazon Redshift
  • Snowflake
  • Microsoft SQL Server
  • Azure Synapse (SQL Data Warehouse)
  • Databricks

Tato verze také přináší následující vylepšení:

  • Podpora dalších operací (funkce s řetězci, matematické funkce a různé další funkce).
  • Vylepšili jsme míru úspěšnosti optimalizace napříč různými tvary dotazů.
  • Další možnosti ladění pushdown:
    • Výstup EXPLAIN FORMATTED zobrazí text dotazu s optimalizací provedenou metodou "pushed-down".
    • V uživatelském rozhraní profilu dotazu se zobrazí text dotazu ve zjednodušené formě (pushed-down), identifikátory federovaných uzlů a doby provádění JDBC dotazů (v podrobném režimu). Viz Zobrazení federovaných dotazů generovaných systémem.

BY POSITION pro mapování sloupců pomocí COPY INTO se soubory CSV bez záhlaví

V Databricks Runtime 15.2 a novějších můžete použít klíčová slova BY POSITION (nebo alternativní syntaxi ( col_name [ , <col_name> ... ] )) s COPY INTO pro soubory CSV bez záhlaví, aby se zjednodušilo mapování zdrojových sloupců na sloupce cílové tabulky. Viz parametry.

Snížení spotřeby paměti při selhání úloh Sparku s chybou Resubmitted

V Databricks Runtime 15.2 a novějších je návratová hodnota metody Spark TaskInfo.accumulables() prázdná, pokud úlohy selžou s chybou Resubmitted . Dříve metoda vrátila hodnoty dřívějšího úspěšného pokusu o úkol. Tato změna chování má vliv na následující uživatele:

  • Úlohy Sparku, které používají třídu EventLoggingListener.
  • Vlastní posluchače Spark

Chcete-li obnovit předchozí chování, nastavte spark.scheduler.dropTaskInfoAccumulablesOnTaskCompletion.enabled na false.

Zobrazení verzí plánu adaptivního spouštění dotazů je zakázané.

Aby se snížila spotřeba paměti, verze plánu adaptivního spouštění dotazů (AQE) jsou ve výchozím nastavení v uživatelském rozhraní Sparku zakázané. Pokud chcete povolit zobrazení verzí plánu AQE v uživatelském rozhraní Sparku, nastavte spark.databricks.sql.aqe.showPlanChangesInUI.enabled na true.

Omezení uchovávaných dotazů je nižší, aby se snížilo využití paměti uživatelského rozhraní Sparku.

V Databricks Runtime 15.2 a novějších verzích se sníží využití paměti uživatelského rozhraní Sparku ve výpočetních prostředcích Azure Databricks tím, že se limit počtu dotazů viditelných v uživatelském rozhraní sníží z 1000 na 100. Pokud chcete limit změnit, nastavte novou hodnotu pomocí konfigurace spark.sql.ui.retainedExecutions Sparku.

DESCRIBE HISTORY nyní zobrazuje klastrovací sloupce pro tabulky, které používají tekuté klastrování

Když spustíte dotaz DESCRIBE HISTORY, ve sloupci operationParameters se ve výchozím nastavení zobrazí pole clusterBy pro operace CREATE OR REPLACE a OPTIMIZE. U tabulky Delta, která používá kapalné seskupování, je pole clusterBy naplněno sloupci seskupování tabulky. Pokud tabulka nepoužívá shlukování kapalin, pole je prázdné.

Syntaxe widgetu poznámkového bloku je zastaralá

Počínaje Databricks Runtime 15.2 je syntaxe ${param} pro přístup k hodnotám widgetu poznámkového bloku v buňkách SQL již zastaralá. Místo toho použijte syntaxi značky parametru (:param). Syntaxe značek parametrů poskytuje lepší ochranu před injektáží SQL a lepší výkon dotazů.

Pokyny a příklady migrace najdete v tématu Widgety starších poznámkových bloků. Informace o aktuálním doporučeném přístupu najdete ve widgetech Databricks.

Nové funkce a vylepšení

Podpora pro primární a cizí klíče je k dispozici jako obecná dostupnost.

Podpora primárních a cizích klíčů v Databricks Runtime je obecně dostupná. Verze GA obsahuje následující změny oprávnění vyžadovaných k používání primárních a cizích klíčů:

  • Pokud chcete definovat cizí klíč, musíte mít oprávnění SELECT na tabulce s primárním klíčem, na který cizí klíč odkazuje. Nemusíte vlastnit tabulku s primárním klíčem, což bylo dříve požadováno.
  • Vyřazení primárního klíče pomocí klauzule CASCADE nevyžaduje oprávnění k tabulkám definujícím cizí klíče, které odkazují na primární klíč. Dříve jste museli vlastnit odkazující tabulky.
  • Vyřazení tabulky, která obsahuje omezení, teď vyžaduje stejná oprávnění jako vyřazení tabulek, které neobsahují omezení.

Informace o použití primárních a cizích klíčů s tabulkami nebo zobrazeními najdete v tématu CONSTRAINT klauzule, ADD CONSTRAINT klauzulea DROP CONSTRAINT klauzule.

Clustering Liquid je obecně dostupné.

Podpora clusteringu liquid je nyní obecně dostupná pomocí Databricks Runtime 15.2 a vyšší. Viz Použití metody 'liquid clustering' pro tabulky.

Rozšíření typu je ve verzi Public Preview.

U tabulek založených na Delta Lake teď můžete povolit rozšíření datového typu. Tabulky s rozšířeným typem umožňují změnit typ sloupců na širší datový typ bez přepsání podkladových datových souborů. Viz rozšíření typu.

Klauzule vývoje schématu přidaná do syntaxe sloučení SQL

Teď můžete do příkazu sloučení SQL přidat klauzuli WITH SCHEMA EVOLUTION, která umožňuje vývoj schématu pro operaci. Podívejte se MERGEna vývoj schématu pomocí SQL, Pythonu a Scaly.

Vlastní zdroje dat PySpark jsou k dispozici ve verzi Public Preview.

Zdroj dat PySpark je možné vytvořit pomocí rozhraní API zdroje dat Python (PySpark), které umožňuje čtení z vlastních zdrojů dat a zápis do vlastních jímek dat v Apache Sparku pomocí Python. Viz vlastní zdroje dat PySpark

ApplyInPandas a mapInPandas jsou teď k dispozici na výpočetních prostředcích katalogu Unity s režimem sdíleného přístupu.

V rámci údržbové verze Databricks Runtime 14.3 LTS jsou typy UDF nyní podporovány v režimu sdíleného přístupu na výpočetních prostředcích používajících Databricks Runtime 14.3 a novější.

Použijte dbutils.widgets.getAll() k získání všech widgetů v rámci poznámkového bloku.

Pomocí dbutils.widgets.getAll()získat všechny hodnoty widgetů v poznámkovém bloku. To je užitečné zejména při předávání více hodnot widgetů do dotazu Spark SQL.

Podpora vakuového inventáře

Teď můžete určit inventář souborů, které je potřeba vzít v úvahu při spuštění příkazu VACUUM v tabulce Delta. Podívejte se na dokumentaci k OSS Delta.

Podpora funkcí komprese Zstandard

Pomocí funkcí zst_compress, zstd_decompress a try_zstd_decompress teď můžete komprimovat a dekomprimovat BINARY data.

Opravy chyb

Plány dotazů v uživatelském rozhraní SQL se teď správně zobrazují PhotonWriteStage

Příkazy write se v uživatelském rozhraní SQL v plánech dotazů nesprávně zobrazovaly jako operátor PhotonWriteStage. V této verzi se uživatelské rozhraní aktualizuje tak, aby ukazovalo PhotonWriteStage jako fázi. Toto je pouze změna uživatelského rozhraní a nemá vliv na způsob spouštění dotazů.

Ray se aktualizuje, aby opravil problémy se spouštěním clusterů Ray.

Tato verze obsahuje opravenou verzi Rayu, která opravuje zásadní změnu, která brání clusterům Ray ve spuštění s Modulem Databricks Runtime pro Machine Learning. Tato změna zajišťuje, aby funkce Ray byla stejná jako verze Databricks Runtime starší než 15.2.

Opravená třída chyb pro funkce DataFrame.sort() a DataFrame.sortWithinPartitions()

Tato verze obsahuje aktualizaci funkcí PySpark DataFrame.sort() a DataFrame.sortWithinPartitions(), aby se zajistilo, že při předání ZERO_INDEX jako argument indexu dojde k vyvolání třídy chyb 0. Dříve byla vyvolána třída chyby INDEX_NOT_POSITIVE.

ipywidgets je downgradován z 8.0.4 na 7.7.2

Pokud chcete opravit chyby zavedené upgradem ipywidgets na 8.0.4 v Databricks Runtime 15.0, ipywidgets je downgradován na 7.7.2 v Databricks Runtime 15.2. Jedná se o stejnou verzi, která je součástí předchozích verzí Databricks Runtime.

Upgrady knihoven

  • Upgradované knihovny Python:
    • GitPython od 3.1.42 do 3.1.43
    • google-api-core od 2.17.1 do 2.18.0
    • google-auth od 2.28.1 do 2.29.0
    • google-cloud-storage od 2.15.0 do 2.16.0
    • googleapis-common-protos od 1.62.0 do 1.63.0
    • ipywidgets z verze 8.0.4 na verzi 7.7.2
    • mlflow-skinny od 2.11.1 do 2.11.3
    • s3transfer z verze 0.10.0 na verzi 0.10.1
    • sqlparse od 0.4.4 do 0.5.0
    • typing_extensions od 4.7.1 do 4.10.0
  • Upgradované knihovny jazyka R:
  • Upgradované knihovny Java:
    • com.amazonaws.aws-java-sdk-autoscaling z 1.12.390 na 1.12.610
    • com.amazonaws.aws-java-sdk-cloudformation od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-cloudfront od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-cloudhsm od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-cloudsearch od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-cloudtrail od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-cloudwatch od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-cloudwatchmetrics od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-codedeploy od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-cognitoidentity od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-cognitosync od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-config od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-core od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-datapipeline od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-directconnect od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-directory od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-dynamodb od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-ec2 od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-ecs od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-efs od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-elasticache od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-elasticbeanstalk od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-elasticloadbalancing od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-elastictranscoder od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-emr od 1.12.390 do 1.12.610
    • Aktualizace com.amazonaws.aws-java-sdk-glacier z verze 1.12.390 na 1.12.610
    • com.amazonaws.aws-java-sdk-glue z 1.12.390 na 1.12.610
    • com.amazonaws.aws-java-sdk-iam od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-importexport od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-kinesis od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-kms od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-lambda od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-logs od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-machinelearning od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-opsworks od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-rds od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-redshift od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-route53 od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-s3 od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-ses od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-simpledb od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-simpleworkflow od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-sns od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-sqs od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-ssm od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-storagegateway od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-sts od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-support, verze od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-workspaces od 1.12.390 do 1.12.610
    • com.amazonaws.jmespath-java od 1.12.390 do 1.12.610

Apache Spark

Databricks Runtime 15.2 zahrnuje Apache Spark 3.5.0. Tato verze zahrnuje všechny opravy a vylepšení Sparku, která jsou součástí Databricks Runtime 15.1 (EoS), a také následující další opravy chyb a vylepšení Sparku:

  • [SPARK-47941] [SC-163568] [SS] [Connect] Předávat chyby inicializace pracovních procesů ForeachBatch uživatelům v PySpark
  • [SPARK-47412] [SC-163455][sql] Přidání podpory kolace pro LPad/RPad
  • [SPARK-47907] [SC-163408][sql] Vložte bang pod konfiguraci
  • [SPARK-46820] [SC-157093][python] Oprava regrese chybové zprávy obnovením new_msg
  • [SPARK-47602] [SPARK-47577][spark-47598][SPARK-47577]Core/MLLib/Resource Managers: migrace strukturovaného protokolování
  • [SPARK-47890] [SC-163324][connect][PYTHON] Přidejte do Scala a Python variantní funkce.
  • [SPARK-47894] [SC-163086][jádro][WEBUI] Přidejte Environment stránku do hlavního uživatelského rozhraní
  • [SPARK-47805] [SC-163459][ss] Implementace TTL pro MapState
  • [SPARK-47900] [SC-163326] Oprava ověření implicitní kolace (UTF8_BINARY)
  • [SPARK-47902] [SC-163316][sql]Učit výrazy pro výpočet aktuálního času* složitelné
  • [SPARK-47845] [SC-163315][sql][PYTHON][connect] Podpora typu sloupce ve funkci split pro Scalu a Python
  • [SPARK-47754] [SC-162144][sql] Postgres: Podpora čtení multidimenzionálních polí
  • [SPARK-47416] [SC-163001][sql] Přidání nových funkcí do collationBenchmark #90339
  • [SPARK-47839] [SC-163075][sql] Oprava agregační chyby v rewriteWithExpression
  • [SPARK-47821] [SC-162967][sql] Implementace výrazu is_variant_null
  • [SPARK-47883] [SC-163184][sql] Udělat CollectTailExec.doExecute líný s funkce RowQueue
  • [SPARK-47390] [SC-163306][sql] PostgresDialect rozlišuje TIMESTAMP od TIMESTAMP_TZ
  • [SPARK-47924] [SC-163282][core] Přidání protokolu DEBUG do DiskStore.moveFileToBlock
  • [SPARK-47897] [SC-163183][sql][3.5] Oprava výkonové regrese ExpressionSet ve Scala 2.12
  • [SPARK-47565] [SC-161786][python] Odolnost poolu pracovních uzlů PySpark
  • [SPARK-47885] [SC-162989][python][CONNECT] Učinit pyspark.resource kompatibilním s pyspark-connect
  • [SPARK-47887] [SC-163122][connect] Odebrání nepoužívaného importu spark/connect/common.proto z spark/connect/relations.proto
  • [SPARK-47751] [SC-161991][python][CONNECT] Zajištění kompatibility pyspark.worker_utils s pyspark-connect
  • [SPARK-47691] [SC-161760][sql] Postgres: Podpora vícerozměrného pole na straně zápisu
  • [SPARK-47617] [SC-162513][sql] Přidání TPC-DS testovací infrastruktury pro kolace
  • [SPARK-47356] [SC-162858][sql] Přidání podpory pro ConcatWs a Elt (všechny kolace)
  • [SPARK-47543] [SC-161234][connect][PYTHON] Odvození dict jako MapType z Pandas DataFrame pro umožnění vytvoření DataFrame
  • [SPARK-47863] [SC-162974][sql] Oprava startWith & endsWith implementací podporující kolaci pro ICU
  • [SPARK-47867] [SC-162966][sql] Podpora varianty při prohledávání JSON.
  • [SPARK-47366] [SC-162475][sql][PYTHON] Přidat VariantVal pro PySpark
  • [SPARK-47803] [SC-162726][sql] Podpora přetypování na variantu.
  • [SPARK-47769] [SC-162841][sql] Přidání výrazu schema_of_variant_agg
  • [SPARK-47420] [SC-162842][sql] Oprava výstupu testu
  • [SPARK-47430] [SC-161178][sql] Podpora GROUP BY pro MapType
  • [SPARK-47357] [SC-162751][sql] Přidání podpory pro Horní, Dolní, InitCap (všechny kolace)
  • [SPARK-47788] [SC-162729][ss] Zajistěte stejné rozdělení podle hash u stavových operací streamování.
  • [SPARK-47776] [SC-162291][ss] Zakázat používání kolace binární nerovnosti ve schématu klíčů stavového operátoru.
  • [SPARK-47673] [SC-162824][ss] Implementace hodnoty TTL pro ListState
  • [SPARK-47818] [SC-162845][connect] Zavedení mezipaměti plánu ve SparkConnectPlanner ke zlepšení výkonu žádostí Analyze
  • [SPARK-47694] [SC-162783][connect] Nastavení maximální velikosti zprávy konfigurovatelné na straně klienta
  • [SPARK-47274] Vrátit “[SC-162479][python][SQL] Poskytnout užitečnější informace…”
  • [SPARK-47616] [SC-161193][sql] Přidání uživatelského dokumentu pro mapování datových typů Spark SQL z MySQL
  • [SPARK-47862] [SC-162837][python][CONNECT]Oprava generování souborů proto
  • [SPARK-47849] [SC-162724][python][CONNECT] Změnit skript pro vydání pyspark-connect
  • [SPARK-47410] [SC-162518][sql] Refaktorování CollationFactory a UTF8String
  • [SPARK-47807] [SC-162505][python][ML] Zajištění kompatibility pyspark.ml s pyspark-connect
  • [SPARK-47707] [SC-161768][sql] Speciální zpracování typu JSON pro Konektor MySQL/J 5.x
  • [SPARK-47765] Vrátit "[SC-162636][sql] Přidat SET kolaci k analýze...
  • [SPARK-47081] [SC-162151][connect][FOLLOW] Zlepšení použitelnosti zpracovatele průběhu
  • [SPARK-47289] [SC-161877][sql] Umožnit rozšířením protokolovat podrobné informace ve vysvětlujícím plánu
  • [SPARK-47274] [SC-162479][python][SQL] Poskytnutí užitečnějšího kontextu pro chyby rozhraní API datového rámce PySpark
  • [SPARK-47765] [SC-162636][sql] Přidání SET kolace do pravidel analyzátoru
  • [SPARK-47828] [SC-162722][connect][PYTHON] DataFrameWriterV2.overwrite selhává s neplatným plánem
  • [SPARK-47812] [SC-162696][connect] Podpora serializace SparkSession pro pracovní proces ForEachBatch
  • [SPARK-47253] [SC-162698][core] Umožnit ukončení LiveEventBus bez nutnosti úplného vyprázdnění fronty událostí
  • [SPARK-47827] [SC-162625][python] Chybějící upozornění pro zastaralé funkce
  • [SPARK-47733] [SC-162628][ss] Přidání vlastních metrik pro operátor transformWithState v rámci průběhu dotazu
  • [SPARK-47784] [SC-162623][ss] Sloučit hodnoty TTLMode a TimeoutMode do jednoho časového režimu.
  • [SPARK-47775] [SC-162319][sql] Podporuje zbývající skalární typy ve specifikaci varianty.
  • [SPARK-47736] [SC-162503][sql] Přidání podpory pro AbstractArrayType
  • [SPARK-47081] [SC-161758][connect] Podpora průběhu provádění dotazů
  • [SPARK-47682] [SC-162138][sql] Podpora přetypování z varianty.
  • [SPARK-47802] [SC-162478][sql] Vrátit () od významu struktury() zpět k původnímu významu *
  • [SPARK-47680] [SC-162318][sql] Přidání výrazu variant_explode
  • [SPARK-47809] [SC-162511][sql] checkExceptionInExpression by měl zkontrolovat chybu pro každý režim codegen.
  • [SPARK-41811] [SC-162470][python][CONNECT] Implementujte SQLStringFormatter s WithRelations
  • [SPARK-47693] [SC-162326][sql] Přidat optimalizaci pro porovnání malých písmen UTF8String, které se používají v kolaci UTF8_BINARY_LCASE
  • [SPARK-47541] [SC-162006][sql] Seřazené řetězce v komplexních typech podporující operace obrácení, array_join, zřetězení, mapování
  • [SPARK-46812] [SC-161535][connect][PYTHON] Umožnění, aby mapInPandas / mapInArrow podporovalo ResourceProfile
  • [SPARK-47727] [SC-161982][python] Nastavení SparkConf na kořenovou úroveň pro SparkSession i SparkContext
  • [SPARK-47406] [SC-159376][sql] Zpracovat TIMESTAMP a DATETIME v MYSQLDialect
  • [SPARK-47081] Vrátit „[SC-161758][connect] Podpora provádění dotazů...
  • [SPARK-47681] [SC-162043][sql] Přidání výrazu schema_of_variant
  • [SPARK-47783] [SC-162222] Přidat některé chybějící SQLSTATEs a vyčistit YY000 k použití...
  • [SPARK-47634] [SC-161558][sql] Přidat podporu pro starší systémy zakazující normalizaci klíčů mapy
  • [SPARK-47746] [SC-162022] Implementace kódování řadového rozsahu v RocksDBStateEncoder
  • [SPARK-47285] [SC-158340][sql] AdaptiveSparkPlanExec by měl vždy používat kontext.session.
  • [SPARK-47643] [SC-161534][ss][PYTHON] Přidání testu pyspark pro zdroj streamování Pythonu
  • [SPARK-47582] [SC-161943][sql] Migrace Catalyst logInfo s proměnnými do architektury strukturovaného protokolování
  • [SPARK-47558] [SC-162007][ss] Podpora TTL pro ValueState
  • [SPARK-47358] [SC-160912][sql][COLLATION] Vylepšení podpory opakujících se výrazů pro vrácení správného datového typu
  • [SPARK-47504] [SC-162044][sql] Vyřešit AbstractDataType simpleStrings pro StringTypeCollated
  • [SPARK-47719] Vrátit "[SC-161909][sql] Změnit spark.sql.legacy.t...
  • [SPARK-47657] [SC-162010][sql] Implementovat podporu posunu filtru kolace na zdroj souboru
  • [SPARK-47081] [SC-161758][connect] Podpora průběhu provádění dotazů
  • [SPARK-47744] [SC-161999] Přidání podpory pro bajty s negativní hodnotou v kodéru rozsahu
  • [SPARK-47713] [SC-162009][sql][CONNECT] Oprava selhání samospojení
  • [SPARK-47310] [SC-161930][ss] Přidání mikro benchmarku pro operace sloučení pro více hodnot v části úložiště stavů
  • [SPARK-47700] [SC-161774][sql] Oprava formátování chybových zpráv pomocí treeNode
  • [SPARK-47752] [SC-161993][ps][CONNECT] Zajištění kompatibility pyspark.pandas s pyspark-connect
  • [SPARK-47575] [SC-161402][spark-47576][SPARK-47654] Implementace rozhraní LOGWarning/logInfo API v rámci strukturovaného protokolování
  • [SPARK-47107] [SC-161201][ss][PYTHON] Implementace čtečky oddílů pro streamovaný zdroj dat Pythonu
  • [SPARK-47553] [SC-161772][ss] Přidání podpory Java pro rozhraní API operátorů transformWithState
  • [SPARK-47719] [SC-161909][sql] Změna výchozí hodnoty spark.sql.legacy.timeParserPolicy na OPRAVENO
  • [SPARK-47655] [SC-161761][ss] Integrace časovače s počátečním zpracováním stavu pro state-v2
  • [SPARK-47665] [SC-161550][sql] K zápisu krátkého typu do MYSQL použijte SMALLINT.
  • [SPARK-47210] [SC-161777][sql] Přidání implicitní konverze bez podpory neurčitosti
  • [SPARK-47653] [SC-161767][ss] Přidání podpory pro záporné číselné typy a kodér klíče pro kontrolu rozsahu
  • [SPARK-46743] [SC-160777][sql] Chyba počítání po skládání konstant
  • [SPARK-47525] [SC-154568][sql] Podpora propojení korelace poddotazů u atributů mapy
  • [SPARK-46366] [SC-151277][sql] Použití výrazu WITH v between k zabránění duplicitním výrazům
  • [SPARK-47563] [SC-161183][sql] Přidání normalizace map při vytváření
  • [SPARK-42040] [SC-161171][sql] SPJ: Zavedení nového rozhraní API pro vstupní oddíl V2, které umožňuje reportovat statistiky oddílů
  • [SPARK-47679] [SC-161549][sql] Použijte HiveConf.getConfVars nebo názvy konfigurací Hive přímo
  • [SPARK-47685] [SC-161566][sql] Obnovení podpory pro typ Stream v Dataset#groupBy
  • [SPARK-47646] [SC-161352][sql] zajistit, aby try_to_number vracel hodnotu NULL pro poškozený vstup
  • [SPARK-47366] [SC-161324][python] Přidání aliasů pyspark a datového rámce parse_json
  • [SPARK-47491] [SC-161176][core] Přidejte slf4j-api jar do cesty ke třídám před ostatními v adresáři jars
  • [SPARK-47270] [SC-158741][sql] Dataset.isEmpty zpracovává CommandResults lokálně
  • [SPARK-47364] [SC-158927][core] Varovat PluginEndpoint když moduly plug-in odpoví na jednosměrnou zprávu
  • [SPARK-47280] [SC-158350][sql] Odstranění omezení časového pásma pro ORACLE TIMESTAMP WITH TIMEZONE
  • [SPARK-47551] [SC-161542][sql] Přidání výrazu variant_get
  • [SPARK-47559] [SC-161255][sql] Podpora Codegen pro variantu parse_json
  • [SPARK-47572] [SC-161351][sql] Ujistěte se, že partitionSpec ve Window je schopný uspořádání.
  • [SPARK-47546] [SC-161241][sql] Zlepšení ověřování při čtení varianty z Parquet
  • [SPARK-47543] [SC-161234][connect][PYTHON] Odvození dict jako MapType z Pandas DataFrame pro umožnění vytvoření DataFrame
  • [SPARK-47485] [SC-161194][sql][PYTHON][connect] Vytvoření sloupce s řazeními v rozhraní DataFrame API
  • [SPARK-47641] [SC-161376][sql] Zvýšení výkonu pro UnaryMinus a Abs
  • [SPARK-47631] [SC-161325][sql] Odebrání nepoužívané SQLConf.parquetOutputCommitterClass metody
  • [SPARK-47674] [SC-161504][core] Povolit spark.metrics.appStatusSource.enabled ve výchozím nastavení
  • [SPARK-47273] [SC-161162][ss][PYTHON] implementuje rozhraní pro zápis datových proudů Python.
  • [SPARK-47637] [SC-161408][sql] Použít errorCapturingIdentifier na více místech
  • [SPARK-47497] Vrátit „Vrátit ‚[SC-160724][sql] Upravte to_csv, aby podporovalo výstup pole/struktura/mapa/binární jako krásné řetězce‘“
  • [SPARK-47492] [SC-161316][sql] Rozšíření pravidel prázdných znaků v lexeru
  • [SPARK-47664] [SC-161475][python][CONNECT] Ověřte název sloupce pomocí schématu uloženého v mezipaměti.
  • [SPARK-47638] [SC-161339][ps][CONNECT] Přeskočení ověření názvu sloupce v PS
  • [SPARK-47363] [SC-161247][ss] Počáteční stav bez implementace čtečky stavu pro rozhraní State API v2.
  • [SPARK-47447] [SC-160448][sql] Povolit čtení Parquet TimestampLTZ jako TimestampNTZ
  • [SPARK-47497] Vrátit zpět “[SC-160724][sql] Udělat to_csv schopným podporovat výstup array/struct/map/binary jako formátované řetězce”
  • [SPARK-47434] [SC-160122][webui] Oprava statistics odkazu v StreamingQueryPage
  • [SPARK-46761] [SC-159045][sql] Měly by citované řetězce v cestě JSON podporovat '?'? znaků
  • [SPARK-46915] [SC-155729][sql] Zjednodušení UnaryMinusAbs a zarovnání chybové třídy
  • [SPARK-47431] [SC-160919][sql] Přidání výchozí kolace pro úroveň relace
  • [SPARK-47620] [SC-161242][python][CONNECT] Přidání pomocné funkce pro řazení sloupců
  • [SPARK-47570] [SC-161165][ss] Integrace změn kodéru skenování rozsahu s implementací časovače
  • [SPARK-47497] [SC-160724][sql] Umožnit to_csv podporu výstupu z array/struct/map/binary jako hezkých řetězců
  • [SPARK-47562] [SC-161166][connect] Vyčlenit zpracování literálů z plan.py
  • [SPARK-47509] [SC-160902][sql] Blokování výrazů poddotazů ve funkcích lambda a vyšších pořadí
  • [SPARK-47539] [SC-160750][sql] Nastavte návratovou hodnotu metody castToStringAny => UTF8String
  • [SPARK-47372] [SC-160905][ss] Přidání podpory kodéru stavu klíče založeného na prohledávání rozsahu pro použití s poskytovatelem úložiště stavů
  • [SPARK-47517] [SC-160642][core][SQL] Prefer Utils.bytesToString pro zobrazení velikosti
  • [SPARK-47243] [SC-158059][ss] Oprava názvu balíčku StateMetadataSource.scala
  • [SPARK-47367] [SC-160913][python][CONNECT] Podpora zdrojů dat Python pomocí Spark Connect
  • [SPARK-47521] [SC-160666][jádro] Použijte Utils.tryWithResource při čtení dat náhodného míchání z externího úložiště.
  • [SPARK-47474] [SC-160522][core] Vrácení SPARK-47461 a přidání komentářů
  • [SPARK-47560] [SC-160914][python][CONNECT] Nepoužívejte RPC k ověření názvu sloupce pomocí schématu uloženého v mezipaměti.
  • [SPARK-47451] [SC-160749][sql] Podpora to_json(variant).
  • [SPARK-47528] [SC-160727][sql] Přidání podpory UserDefinedType do DataTypeUtils.canWrite
  • [SPARK-44708] Vrátit změnu “[SC-160734][python] Migrace test_reset_index z assert_eq na použití assertDataFrameEqual”
  • [SPARK-47506] [SC-160740][sql] Přidání podpory do všech formátů zdrojů souborů pro kompletované datové typy
  • [SPARK-47256] [SC-160784][sql] Přiřazení názvů ke třídám chyb _LEGACY_ERROR_TEMP_102[4-7]
  • [SPARK-47495] [SC-160720][core] Oprava souboru JAR primárního prostředku přidaného do spark.jars dvakrát v režimu clusteru k8s
  • [SPARK-47398] [SC-160572][sql] Extrahujte vlastnost inMemoryTableScanExec, aby bylo možné rozšířit funkce.
  • [SPARK-47479] [SC-160623][sql] Optimalizace nemůže zapisovat data do relací s více cestami v protokolu chyb
  • [SPARK-47483] [SC-160629][sql] Přidání podpory operací agregace a spojení v polích kompletovaných řetězců
  • [SPARK-47458] [SC-160237][core] Opravte problém s výpočtem maximálních souběžných úloh pro fázi bariéry.
  • [SPARK-47534] [SC-160737][sql] Přechod o.a.s.variant na o.a.s.types.variant
  • [SPARK-47396] [SC-159312][sql] Přidání obecného mapování pro TIME WITHOUT TIME ZONE na TimestampNTZType
  • [SPARK-44708] [SC-160734][python] Migrace test_reset_index assert_eq pro použití assertDataFrameEqual
  • [SPARK-47309] [SC-157733][sc-160398][SQL] XML: Přidání testů odvozování schématu pro značky hodnot
  • [SPARK-47007] [SC-160630][sql] Přidání výrazu MapSort
  • [SPARK-47523] [SC-160645][sql] Nahraďte zastaralé JsonParser#getCurrentName za JsonParser#currentName
  • [SPARK-47440] [SC-160635][sql] Oprava přenášení nepodporované syntaxe na MsSqlServer
  • [SPARK-47512] [SC-160617][ss] Typ operace pro označení použitý při získávání/uvolňování zámku instance úložiště stavů RocksDB
  • [SPARK-47346] [SC-159425][python] Umožnit konfiguraci režimu démona při vytváření pracovních procesů plánovače Python
  • [SPARK-47446] [SC-160163][core] Udělat BlockManager aby varovalo před removeBlockInternal
  • [SPARK-46526] [SC-156099][sql] Podpora LIMIT korelovaných poddotazů, kde predikáty odkazují pouze na vnější tabulku
  • [SPARK-47461] [SC-160297][core] Odebrat privátní funkci totalRunningTasksPerResourceProfile z ExecutorAllocationManager
  • [SPARK-47422] [SC-160219][sql] Podpora kolacionovaných řetězců v operacích s poli
  • [SPARK-47500] [SC-160627][python][CONNECT] Zpracování názvů sloupců faktoru plan.py
  • [SPARK-47383] [SC-160144][core] Konfigurace podpory spark.shutdown.timeout
  • [SPARK-47342] [SC-159049]Vrátit „[SQL] Support TimestampNTZ for DB2 TIMESTAMP WITH TIME ZONE“
  • [SPARK-47486] [SC-160491][connect] Odstranit nepoužitou privátní ArrowDeserializers.getString metodu
  • [SPARK-47233] [SC-154486][connect][SS][2/2] Klientská a serverová logika pro klientský naslouchač dotazů
  • [SPARK-47487] [SC-160534][sql] Zjednodušení kódu v AnsiTypeCoercion
  • [SPARK-47443] [SC-160459][sql] Podpora agregace oken pro kolace
  • [SPARK-47296] [SC-160457][sql][COLLATION] Selhání nepodporovaných funkcí pro nebinární kolace
  • [SPARK-47380] [SC-160164][connect] Ujistěte se, že na straně serveru je SparkSession stejná.
  • [SPARK-47327] [SC-160069][sql] Přesun testu souběžnosti klíčů řazení do CollationFactorySuite
  • [SPARK-47494] [SC-160495][doc] Přidání dokumentu migrace pro změnu chování odvozování časových razítek Parquet od Sparku 3.3
  • [SPARK-47449] [SC-160372][ss] Refaktoring a rozdělení jednotkových testů seznamů a časovačů
  • [SPARK-46473] [SC-155663][sql] Opětovné použití metody getPartitionedFile
  • [SPARK-47423] [SC-160068][sql] Kolace – Nastavení podpory operací pro řetězce s kolací
  • [SPARK-47439] [SC-160115][python] Zdokumentovat rozhraní API pro datový zdroj Python na referenční stránce API
  • [SPARK-47457] [SC-160234][sql] Oprava IsolatedClientLoader.supportsHadoopShadedClient pro zpracování Hadoopu 3.4 nebo novější
  • [SPARK-47366] [SC-159348][sql] Implementujte funkci parse_json.
  • [SPARK-46331] [SC-152982][sql] Odebrání CodegenFallbacku z podmnožiny výrazů DateTime a výrazu version()
  • [SPARK-47395] [SC-159404] Přidat třídění a kolaci do jiných rozhraní API
  • [SPARK-47437] [SC-160117][python][CONNECT] Oprava třídy chyb pro DataFrame.sort*
  • [SPARK-47174] [SC-154483][connect][SS][1/2] Na straně serveru SparkConnectListenerBusListener pro posluchač streamovacího dotazu na straně klienta
  • [SPARK-47324] [SC-158720][sql] Přidání chybějícího převodu časového razítka pro vnořené typy JDBC
  • [SPARK-46962] [SC-158834][ss][PYTHON] Přidání rozhraní pro API zdroje dat streamování v Pythonu a implementace pracovníka Pythonu pro spuštění streamovaného zdroje dat v Pythonu
  • [SPARK-45827] [SC-158498][sql] Přesunutí kontrol datových typů do CreatableRelationProvider
  • [SPARK-47342] [SC-158874][sql] Podpora pro TimestampNTZ v DB2 ČASOVÉ RAZÍTKO S ČASOVOU ZÓNOU
  • [SPARK-47399] [SC-159378][sql] Zakázání generovaných sloupců ve výrazech s kolacemi
  • [SPARK-47146] [SC-158247][core] Možný únik vlákna při spojení s řazením a slučováním.
  • [SPARK-46913] [SC-159149][ss] Přidání podpory pro časovače založené na čase zpracování a událostí pomocí operátoru transformWithState
  • [SPARK-47375] [SC-159063][sql] Přidejte pokyny pro mapování časového razítka v JdbcDialect#getCatalystType
  • [SPARK-47394] [SC-159282][sql] Podpora časového razítka s časovým pásmem pro H2Dialect
  • [SPARK-45827] Vrátit "[SC-158498][sql] Přesunout kontroly datových typů do ...
  • [SPARK-47208] [SC-159279][core] Povolit přepsání základní režijní paměti
  • [SPARK-42627] [SC-158021][spark-26494][SQL] Podpora oracle TIMESTAMP s místním časovým pásmem
  • [SPARK-47055] [SC-156916][python] Upgrade MyPy 1.8.0
  • [SPARK-46906] [SC-157205][ss] Přidání kontroly změny stavového operátora pro streamování
  • [SPARK-47391] [SC-159283][sql] Odebrání alternativního řešení testovacího případu pro sadu JDK 8
  • [SPARK-47272] [SC-158960][ss] Přidání implementace MapState pro state API v2.
  • [SPARK-47375] [SC-159278][doc][FollowUp] Oprava chyby v dokumentaci možnosti JDBC preferTimestampNTZ
  • [SPARK-42328] [SC-157363][sql] Odebrání _LEGACY_ERROR_TEMP_1175 z tříd chyb
  • [SPARK-47375] [SC-159261][doc][FollowUp] Oprava popisu možnosti preferTimestampNTZ v dokumentu JDBC
  • [SPARK-47344] [SC-159146] Rozšíření chyby INVALID_IDENTIFIER pro zachycení "-" v necitovaném identifikátoru a oprava chyby 'IS !' NULL" a kol.
  • [SPARK-47340] [SC-159039][sql] Změna "collate" v názvu typu StringType na malá písmena
  • [SPARK-47087] [SC-157077][sql] Vyvolání výjimky ve Sparku s chybovou třídou při kontrole konfigurační hodnoty
  • [SPARK-47327] [SC-158824][sql] Oprava problému se zabezpečením vlákna v collatoru ICU
  • [SPARK-47082] [SC-157058][sql] Oprava chyby při překročení povolených hranic
  • [SPARK-47331] [SC-158719][ss] Serializace pomocí tříd případů/primitivs/POJO na základě kodéru SQL pro rozhraní API libovolného stavu v2.
  • [SPARK-47250] [SC-158840][ss] Přidání dalších ověření a změn NERF pro poskytovatele stavů RocksDB a použití rodin sloupců
  • [SPARK-47328] [SC-158745][sql] Přejmenování UCS_BASIC kolace na UTF8_BINARY
  • [SPARK-47207] [SC-157845][core] podpora spark.driver.timeout a DriverTimeoutPlugin
  • [SPARK-47370] [SC-158956][doc] Přidejte dokument o migraci: Odvození typu TimestampNTZ v souborech Parquet
  • [SPARK-47309] [SC-158827][sql][XML] Přidání jednotkových testů pro odvozování schématu
  • [SPARK-47295] [SC-158850][sql] Přidáno hledání řetězců ICU pro funkce startsWith a endsWith
  • [SPARK-47343] [SC-158851][sql] Oprava NPE, když je hodnota proměnné ve funkci execute immediate nulový řetězec.
  • [SPARK-46293] [SC-150117][connect][PYTHON] Použití protobuf tranzitivní závislosti
  • [SPARK-46795] [SC-154143][sql] Nahraďte UnsupportedOperationException v SparkUnsupportedOperationExceptionsql/core
  • [SPARK-46087] [SC-149023][python] Synchronizace závislostí PySpark v dokumentaci a požadavcích na vývoj
  • [SPARK-47169] [SC-158848][sql] Vypnout dělení na sloučené sloupce
  • [SPARK-42332] [SC-153996][sql] Změna vyžadování na SparkException v ComplexTypeMergingExpression
  • [SPARK-45827] [SC-158498][sql] Přesunutí kontrol datových typů do CreatableRelationProvider
  • [SPARK-47341] [SC-158825][connect] Nahrazení příkazů relacemi v několika testech v SparkConnectClientSuite
  • [SPARK-43255] [SC-158026][sql] Nahraďte třídu chyb _LEGACY_ERROR_TEMP_2020 vnitřní chybou.
  • [SPARK-47248] [SC-158494][sql][COLLATION] Vylepšená podpora řetězcových funkcí: obsahuje:
  • [SPARK-47334] [SC-158716][sql] Znovu withColumnRenamed použijte implementaci withColumnsRenamed
  • [SPARK-46442] [SC-153168][sql] DS V2 podporuje prosazování PERCENTILE_CONT a PERCENTILE_DISC
  • [SPARK-47313] [SC-158747][sql] Přidáno zpracování scala.MatchError uvnitř QueryExecution.toInternalError.
  • [SPARK-45827] [SC-158732][sql] Přidání typu singleton variant pro Java
  • [SPARK-47337] [SC-158743][sql][DOCKER] Aktualizovat verzi dockerového obrazu DB2 na 11.5.8.0
  • [SPARK-47302] [SC-158609][sql] Kompletovat klíčové slovo jako identifikátor
  • [SPARK-46817] [SC-154196][core] Oprava spark-daemon.sh využití přidáním decommission příkazu
  • [SPARK-46739] [SC-153553][sql] Přidání třídy chyb UNSUPPORTED_CALL
  • [SPARK-47102] [SC-158253][sql] Přidání příznaku COLLATION_ENABLED konfigurace
  • [SPARK-46774] [SC-153925][sql][AVRO] Použijte mapreduce.output.fileoutputformat.compress místo zastaralého mapred.output.compress v úlohách zápisu Avro.
  • [SPARK-45245] [SC-146961][python][CONNECT] PythonWorkerFactory: Časový limit, pokud se pracovník nepřipojí zpět.
  • [SPARK-46835] [SC-158355][sql][Kolace] Podpora joinů pro nebinární kolace
  • [SPARK-47131] [SC-158154][sql][COLLATION] Podpora řetězcové funkce: obsahuje, začíná, končí
  • [SPARK-46077] [SC-157839][sql] Zvažte typ generovaný službou TimestampNTZConverter v JdbcDialect.compileValue.
  • [SPARK-47311] [SC-158465][sql][PYTHON] Potlačit chyby Pythonu, když PySpark není v Python cestě
  • [SPARK-47319] [SC-158599][sql] Zlepšení výpočtu chybějícího vstupu
  • [SPARK-47316] [SC-158606][sql] Oprava časového razítka NTZ v poli databáze Postgres
  • [SPARK-47268] [SC-158158][sql][Kolace] Podpora pro předělování s kolacemi
  • [SPARK-47191] [SC-157831][sql] Vyhněte se zbytečnému vyhledání při výmazu z cache tabulek nebo zobrazení
  • [SPARK-47168] [SC-158257][sql] Zakázání odsdílení filtru parquet při práci s ne výchozími kompletovanými řetězci
  • [SPARK-47236] [SC-158015][core] Oprava deleteRecursivelyUsingJavaIO pro přeskočení neexistujícího vstupu souboru
  • [SPARK-47238] [SC-158466][sql] Snížit využití paměti exekutorů změnou vygenerovaného kódu ve WSCG na proměnnou pro všesměrové vysílání.
  • [SPARK-47249] [SC-158133][connect] Oprava chyby, kdy jsou všechna provádění připojení považována za opuštěná bez ohledu na jejich skutečný stav
  • [SPARK-47202] [SC-157828][python] Oprava překlepů způsobujícího datum a časy pomocí tzinfo
  • [SPARK-46834] [SC-158139][sql][Řazení] Podpora agregací
  • [SPARK-47277] [SC-158351][3.5] Funkce PySpark util assertDataFrameEqual by neměla podporovat streamování DF.
  • [SPARK-47155] [SC-158473][python] Oprava problému s chybovou třídou
  • [SPARK-47245] [SC-158163][sql] Vylepšení kódu chyby pro INVALID_PARTITION_COLUMN_DATA_TYPE
  • [SPARK-39771] [SC-158425][core] Přidejte varovnou zprávu při Dependency vytvoření příliš velkého počtu bloků shuffle.
  • [SPARK-47277] [SC-158329] Funkce PySpark util assertDataFrameEqual by neměla podporovat streamování DF
  • [SPARK-47293] [SC-158356][core] Sestavení batchSchema pomocí sparkSchema místo přidávání jednoho po druhém
  • [SPARK-46732] [SC-153517][connect]Udělejte, aby poddotaz/vysílací vlákno fungovalo se správou artefaktů Connect.
  • [SPARK-44746] [SC-158332][python] Přidání další dokumentace Python UDTF pro funkce, které přijímají vstupní tabulky
  • [SPARK-47120] [SC-157517][sql] Porovnání s hodnotou Null odsunutí filtru dat z poddotazů vytvoří v NPE ve filtru Parquet.
  • [SPARK-47251] [SC-158291][python] Blokování neplatných typů z argumentu args příkazu sql
  • [SPARK-47251] Vrátit zpět "[SC-158121][python] Blokovat neplatné typy z argumentu args příkazu sql "
  • [SPARK-47015] [SC-157900][sql] Zakázání particionování u seřazených sloupců
  • [SPARK-46846] [SC-154308][core] Nastavit WorkerResourceInfo tak, aby explicitně rozšiřoval Serializable
  • [SPARK-46641] [SC-156314][ss] Přidání prahové hodnoty maxBytesPerTrigger
  • [SPARK-47244] [SC-158122][connect] SparkConnectPlanner zpřístupnit interní funkce jako soukromé
  • [SPARK-47266] [SC-158146][connect] Vrátí ProtoUtils.abbreviate stejný typ jako vstup.
  • [SPARK-46961] [SC-158183][ss] Použití ProcessorContext k ukládání a načítání handle
  • [SPARK-46862] [SC-154548][sql] Zakázání vyřazování sloupců CSV v režimu s více řádky
  • [SPARK-46950] [SC-155803][core][SQL] Zarovnat not available codec třídu chyb
  • [SPARK-46368] [SC-153236][core] Podpora readyz v rozhraní REST Submission API
  • [SPARK-46806] [SC-154108][python] V případě nesprávného typu argumentu vylepšete chybovou zprávu pro spark.table.
  • [SPARK-47211] [SC-158008][connect][PYTHON] Oprava přehlížené kolace řetězců v PySpark Connect
  • [SPARK-46552] [SC-151366][sql] Nahraďte UnsupportedOperationException v SparkUnsupportedOperationExceptioncatalyst
  • [SPARK-47147] [SC-157842][python][SQL] Oprava chyby převodu setříděných řetězců v PySpark
  • [SPARK-47144] [SC-157826][connect][SQL][python] Oprava chyby kolace v Spark Connect přidáním pole collateId protobuf
  • [SPARK-46575] [SC-153200][sql][HIVE] Umožnit opakování HiveThriftServer2.startWithContext DevelopApi a opravit nestabilitu ThriftServerWithSparkContextInHttpSuite
  • [SPARK-46696] [SC-153832][core] V ResourceProfileManager by volání funkce měla proběhnout po deklaraci proměnných.
  • [SPARK-47214] [SC-157862][python] Vytvoření rozhraní API UDTF pro metodu analyze k rozlišení konstantních argumentů NULL a dalších typů argumentů
  • [SPARK-46766] [SC-153909][sql][AVRO] Podpora fondu vyrovnávacích pamětí ZSTD pro zdroj dat AVRO
  • [SPARK-47192] [SC-157819] Převod některých chyb _LEGACY_ERROR_TEMP_0035
  • [SPARK-46928] [SC-157341][ss] Přidání podpory pro ListState v rozhraní API libovolného stavu v2
  • [SPARK-46881] [SC-154612][core] Podpora spark.deploy.workerSelectionPolicy
  • [SPARK-46800] [SC-154107][core] Podpora spark.deploy.spreadOutDrivers
  • [SPARK-45484] [SC-146014][sql] Oprava chyby, která používá nesprávný kodek komprese parquet lz4raw
  • [SPARK-46791] [SC-154018][sql] Podpora Java sady v JavaTypeInference
  • [SPARK-46332] [SC-150224][sql] Migrace CatalogNotFoundException do třídy chyb CATALOG_NOT_FOUND
  • [SPARK-47164] [SC-157616][sql] Zajistit, aby výchozí hodnoty z širšího typu se chovaly stejně jako úzký literál v v2 a v1.
  • [SPARK-46664] [SC-153181][core] Vylepšení Master pro rychlé obnovení v případě absence pracovníků a aplikací
  • [SPARK-46759] [SC-153839][sql][AVRO] Kodek xz a zstandard podporují úroveň komprese pro soubory avro

Podpora ovladačů Databricks ODBC/JDBC

Databricks podporuje ovladače ODBC/JDBC vydané v posledních 2 letech. Stáhněte si nedávno vydané ovladače a upgradujte (stáhněte rozhraní ODBC, stáhněte JDBC).

Viz údržbové aktualizace Databricks Runtime 15.2.

Prostředí systému

  • Operační systém: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.11.0
  • R: 4.3.2
  • Delta Lake: 3.2.0

Nainstalované knihovny Python

Knihovna Verze Knihovna Verze Knihovna Verze
asttokens 2.0.5 astunparse 1.6.3 Azure-Core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 zpětné volání 0.2.0
černý 23.3.0 blinkr 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifikace 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
klikněte 8.0.4 cloudpickle 2.2.1 Komunikace 0.1.2
obrysová křivka 1.0.5 kryptografie 41.0.3 cyklista 0.11.0
Cython 0.29.32 Databricks-sdk 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 dekoratér 5.1.1 distlib 0.3.8
vstupní body 0,4 vykonávat 0.8.3 přehled aspektů 1.1.1
zámek souboru 3.13.1 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.18.0 google-auth 2.29.0
google-cloud-core 2.4.1 úložiště Google Cloud 2.16.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 Jedi 0.18.1 Jeepney 0.7.1
jmespath 0.10.0 joblib 1.2.0 jupyter_client 7.4.9
jupyter_core 5.3.0 klíčenka 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-hubená 2.11.3
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 balení 23.2
pandas 1.5.3 parso 0.8.3 pathspec 0.10.3
bábovka 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Polštář 9.4.0 pip 23.2.1 platformdirs 3.10.0
plotly 5.9.0 prompt-toolkit 3.0.36 proto-plus 1.23.0
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 čistý-hodnocení 0.2.2 pyarrow 14.0.1
pyasn1 0.4.8 pyasn1-modules 0.2.8 pyccolo 0.0.52
pycparser 2.21 pydantic 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.38
pyparsing 3.0.9 python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1
pytz 2022.7 PyYAML 6.0 pyzmq 23.2.0
žádosti 2.31.0 rsa 4,9 s3transfer 0.10.1
scikit-learn 1.3.0 scipy 1.11.1 seaborn 0.12.2
SecretStorage 3.3.1 setuptools 68.0.0 Šest 1.16.0
smmap 5.0.1 sqlparse 0.5.0 ssh-import-id 5,11
stack-data 0.2.0 statsmodels 0.14.0 houževnatost 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tornádo 6.3.2
vlastnosti 5.7.1 typing_extensions 4.10.0 tzdata 2022.1
ujson 5.4.0 bezobslužné aktualizace 0,1 urllib3 1.26.16
virtualenv 20.24.2 wadllib 1.3.6 wcwidth 0.2.5
wheel 0.38.4 zipp 3.11.0

Nainstalované knihovny jazyka R

Knihovny jazyka R se instalují ze snímku CRAN spravovaného Posit Správce balíčků.

Knihovna Verze Knihovna Verze Knihovna Verze
šipka 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
zpětné porty 1.4.1 báze 4.3.2 base64enc 0.1-3
bigD 0.2.0 bitové 4.0.5 bit64 4.0.5
bitops 1.0-7 objekt blob 1.2.4 bootování 1.3-28
vařit 1.0-10 verva 1.1.4 koště 1.0.5
bslib 0.6.1 cachem 1.0.8 volající 3.7.3
caret 6.0-94 cellranger 1.1.0 chron 2.3-61
třída 7.3-22 Rozhraní příkazového řádku (CLI) 3.6.2 clipr 0.8.0
hodiny 0.7.0 cluster 2.1.4 codetools 0.2-19
barevný prostor 2.1-0 commonmark 1.9.1 kompilátor 4.3.2
config 0.3.2 vnitřně rozpolcený 1.2.0 cpp11 0.4.7
pastelka 1.5.2 přihlašovací údaje 2.0.1 zavinout 5.2.0
datová tabulka 1.15.0 datové sady 4.3.2 DBI 1.2.1
dbplyr 2.4.0 popis 1.4.3 devtools 2.4.5
schéma 1.6.5 diffobj 0.3.5 hodnota hash 0.6.34
dolní osvícení 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 tři tečky 0.3.2 hodnotit 0.23
fanoušci 1.0.6 barvy 2.1.1 fastmap 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
zahraniční 0.8-85 kovat 0.2.0 Fs 1.6.3
budoucnost 1.33.1 future.apply 1.11.1 kloktadlo 1.5.2
obecné typy 0.1.3 Gert 2.0.1 ggplot2 3.4.4
Gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globálních objektů 0.16.2 lepidlo 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
Grafika 4.3.2 grDevices 4.3.2 mřížka 4.3.2
gridExtra 2.3 gsubfn 0,7 gt 0.10.1
gtable 0.3.4 bezpečnostní přilba 1.3.1 útočiště 2.5.4
vyšší 0.10 hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 identifikátory 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 Iterátory 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 šťavnatý džus 0.1.0
KernSmooth 2.23-21 knitr 1,45 značení 0.4.3
později 1.3.2 mříž 0.21-8 láva 1.7.3
životní cyklus 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 sleva 1.12 Hmotnost 7.3-60
*Matrix* 1.5-4.1 memoise 2.0.1 metody 4.3.2
mgcv 1.8-42 mim 0.12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 paralelní 4.3.2
paralelně 1.36.0 pilíř 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 chválit 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 Průběh 1.2.3
progressr 0.14.0 sliby 1.2.1 proto 1.0.0
proxy 0.4-27 PS 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 Analýza rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 reaktivní 0.4.4
reactR 0.5.0 readr 2.1.5 readxl 1.4.3
recepty 1.0.9 odvetný zápas 2.0.0 rematch2 2.1.2
dálková ovládání 2.4.2.1 reprex 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2,25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 drzost 0.4.8
váhy 1.3.0 selektor 0.4-2 sessioninfo 1.2.2
obrazec 1.4.6 lesklý 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 prostorový 7.3-15 spliny 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 statistické údaje 4.3.2
Statistiky 4 4.3.2 řetězce 1.8.3 stringr 1.5.1
přežití 3.5-5 swagger 3.33.1 systém 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
formátování textu 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 změna času 0.3.0
časDatum 4032.109 tinytex 0.49 nástroje 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 použij toto 2.2.2
utf8 1.2.4 utils 4.3.2 Uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 Waldo 0.5.2 vous 0.4.1
withr 3.0.0 xfun 0.41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 zip 2.3.1

Nainstalované Java a knihovny Scala (verze clusteru Scala 2.12)

ID skupiny ID artefaktu Verze
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws automatické škálování aws-java-sdk 1.12.610
com.amazonaws aws-java-sdk-cloudformation 1.12.610
com.amazonaws aws-java-sdk-cloudfront 1.12.610
com.amazonaws aws-java-sdk-cloudhsm 1.12.610
com.amazonaws aws-java-sdk-cloudsearch 1.12.610
com.amazonaws aws-java-sdk-cloudtrail 1.12.610
com.amazonaws aws-java-sdk-cloudwatch 1.12.610
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.610
com.amazonaws aws-java-sdk-codedeploy 1.12.610
com.amazonaws aws-java-sdk-cognitoidentity 1.12.610
com.amazonaws aws-java-sdk-cognitosync 1.12.610
com.amazonaws aws-java-sdk-config 1.12.610
com.amazonaws aws-java-sdk-core 1.12.610
com.amazonaws aws-java-sdk-datapipeline 1.12.610
com.amazonaws aws-java-sdk-directconnect 1.12.610
com.amazonaws aws-java-sdk-directory 1.12.610
com.amazonaws aws-java-sdk-dynamodb 1.12.610
com.amazonaws aws-java-sdk-ec2 1.12.610
com.amazonaws aws-java-sdk-ecs 1.12.610
com.amazonaws aws-java-sdk-efs 1.12.610
com.amazonaws aws-java-sdk-elasticache 1.12.610
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.610
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.610
com.amazonaws aws-java-sdk-elastictranscoder 1.12.610
com.amazonaws aws-java-sdk-emr 1.12.610
com.amazonaws aws-java-sdk-glacier 1.12.610
com.amazonaws aws-java-sdk-glue 1.12.610
com.amazonaws aws-java-sdk-iam 1.12.610
com.amazonaws aws-java-sdk-importexport 1.12.610
com.amazonaws aws-java-sdk-kinesis 1.12.610
com.amazonaws aws-java-sdk-kms 1.12.610
com.amazonaws aws-java-sdk-lambda 1.12.610
com.amazonaws aws-java-sdk-logs 1.12.610
com.amazonaws aws-java-sdk-machinelearning 1.12.610
com.amazonaws aws-java-sdk-opsworks 1.12.610
com.amazonaws aws-java-sdk-rds 1.12.610
com.amazonaws aws-java-sdk-redshift 1.12.610
com.amazonaws aws-java-sdk-route53 1.12.610
com.amazonaws aws-java-sdk-s3 1.12.610
com.amazonaws aws-java-sdk-ses 1.12.610
com.amazonaws aws-java-sdk-simpledb 1.12.610
com.amazonaws aws-java-sdk-simpleworkflow 1.12.610
com.amazonaws aws-java-sdk-sns 1.12.610
com.amazonaws aws-java-sdk-sqs 1.12.610
com.amazonaws aws-java-sdk-ssm 1.12.610
com.amazonaws aws-java-sdk-storagegateway 1.12.610
com.amazonaws aws-java-sdk-sts 1.12.610
com.amazonaws podpora aws-java-sdk 1.12.610
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.610
com.amazonaws jmespath-java 1.12.610
com.clearspring.analytics datový proud 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-stíněný 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml spolužák 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.kofein kofein 2.9.3
com.github.fommil jniloader 1,1
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java Nativní verze 1.1
com.github.fommil.netlib nativní_systém-java 1,1
com.github.fommil.netlib nativní_systém-java Nativní verze 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64 Nativní verze 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64 Nativní verze 1.1
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink Tink 1.9.0
com.google.errorprone poznámky_náchylné_k_chybám 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profiler 1.1.1
com.ibm.icu icu4j 72.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk (sada nástrojů pro vývoj softwaru pro Azure Data Lake Store) 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift vzduchový kompresor 0.25
io.delta delta-sharing-client_2.12 1.0.5
io.dropwizard.metrics anotace metriky 4.2.19
io.dropwizard.metrics jádro metrik 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metriky – kontroly stavu 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metriky – servlety 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx kolektor 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivace 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction API pro transakce 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine marináda 1.3
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant mravenec 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow Chybí vhodný překlad. Termín by měl zůstat v angličtině jako "arrow-format", pokud je standardně používán. 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow vektorová šipka 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.kurátor klient kurátor 2.13.0
org.apache.kurátor kurátor-framework 2.13.0
org.apache.kurátor kurátor-recepty 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy břečťan 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus poznámky k publiku 0.13.0
org.apache.zookeeper ošetřovatel v zoo 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty Jetty pokračování 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty Jetty-webová aplikace 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocketový klient 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core běžný žerzej 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator Hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist Javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains anotace 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap Vymezovací podložky 0.9.45-databricks
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt testovací rozhraní 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest kompatibilní s scalatestem 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-jádro_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
  • Last updated on