Share via

Databricks Runtime 12.0 (niet ondersteund)

  • Artikel

De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 12.0, mogelijk gemaakt door Apache Spark 3.3.1.

Databricks heeft deze afbeeldingen uitgebracht in december 2022.

Nieuwe functies en verbeteringen

Voorspellende I/O is algemeen beschikbaar

Voorspellende I/O is nu algemeen beschikbaar. Zie Wat is voorspellende I/O?voor meer informatie.

Photon Writer ondersteunt zstd-compressie

Photon native writer ondersteunt nu de zstd-compressiecodec wanneer zstd is ingeschakeld door in te stellen spark.sql.parquet.compression.codec op zstd.

Ondersteuning voor taakresourceprofiel op faseniveau voor zelfstandige clusters

U kunt nu planning op faseniveau gebruiken voor zelfstandige clusters wanneer dynamische toewijzing is uitgeschakeld. Als u deze functie wilt gebruiken, geeft u de taakbronnen voor ResourceProfileBuilder elke fase op.

SQL-ondersteuning voor selectief overschrijven met REPLACE WHERE

U kunt nu selectief gegevens overschrijven die overeenkomen met een willekeurige expressie in een Delta-tabel met behulp van het volgende patroon.

INSERT INTO table_name REPLACE WHERE predicate append_relation

Zie Willekeurige selectief overschrijven met replaceWhere.

Watermerken worden nu ondersteund in SQL

U kunt nu watermerken opgeven met behulp van de SQL-interface van Delta Live Tables en in SQL-query's voor het streamen van DataFrames. Zie de component WATERMARK.

PySpark-geheugenprofilering

Geheugenprofilering is nu ingeschakeld voor door de gebruiker gedefinieerde PySpark-functies. Dit biedt informatie over geheugenverhoging, geheugengebruik en het aantal exemplaren voor elke regel code in een door de gebruiker gedefinieerde functie.

Dynamische pruning voor DELETE en UPDATE

Wanneer u berekeningen met Photon gebruikt DELETE en UPDATE nu dynamische bestanden en partities gebruikt, waardoor de prestaties worden verbeterd. Dynamisch snoeien is bijvoorbeeld ingeschakeld wanneer een kleinere brontabel wordt gebruikt om rijen in een grotere tabel bij te werken of te verwijderen.

Metrische gegevens op rijniveau verwijderen voor gepartitioneerde bewerkingen voor gegevensmanipulatie

Met gepartitioneerde predicaten kunnen gebruikers nu controleren hoeveel rijen worden verwijderd bij het uitvoeren van DML-bewerkingen (Data Manipulat Language), zoals DELETE, TRUNCATEen replaceWhere.

Bugfixes

Er is een probleem opgelost met JSON-parsering in Auto Loader, waarbij alle kolommen werden achtergelaten als tekenreeksen. Eerder was cloudFiles.inferColumnTypes deze niet ingesteld of ingesteld false op en bevatte de JSON geneste objecten.

Bibliotheekupgrades

  • Bijgewerkte Python-bibliotheken:
    • argon2-cffi van 20.1.0 tot 21.3.0
    • attrs van 21.2.0 tot 21.4.0
    • backports.entry-points-selectable from 1.1.1 to 1.2.0
    • bleek van 4.0.0 tot 4.1.0
    • boto3 van 1.21.18 tot 1.21.32
    • botocore van 1.24.18 tot 1.24.32
    • cffi van 1.14.6 tot 1.15.0
    • klik van 8.0.3 tot 8.0.4
    • cycler van 0.10.0 tot 0.11.0
    • Cython van 0.29.24 tot 0.29.28
    • foutopsporing van 1.4.1 tot 1.5.1
    • decorator van 5.1.0 tot 5.1.1
    • invoerpunten van 0.3 tot 0.4
    • idna van 3.2 tot 3.3
    • ipykernel van 6.12.1 tot 6.15.3
    • ipython van 7.32.0 tot 8.5.0
    • ipywidgets van 7.7.0 tot 7.7.2
    • jedi van 0.18.0 tot 0.18.1
    • joblib van 1.0.1 tot 1.1.0
    • jsonschema van 3.2.0 tot 4.4.0
    • kiwisolver van 1.3.1 tot 1.3.2
    • matplotlib van 3.4.3 tot 3.5.1
    • nbclient van 0.5.3 tot 0.5.13
    • nbconvert van 6.1.0 tot 6.4.4
    • nbformat van 5.1.3 tot 5.3.0
    • nest-asyncio van 1.5.1 tot 1.5.5
    • notebook van 6.4.5 tot 6.4.8
    • numpy van 1.20.3 tot 1.21.5
    • verpakking van 21.0 tot 21.3
    • pandas van 1.3.4 tot 1.4.2
    • pandocfilters van 1.4.3 tot 1.5.0
    • parso van 0.8.2 tot 0.8.3
    • Kussen van 8.4.0 tot 9.0.1
    • platformdirs van 2.5.2 tot 2.5.4
    • plotly from 5.9.0 to 5.6.0
    • prometheus-client van 0.11.0 tot 0.13.1
    • protobuf van 4.21.5 tot 3.19.4
    • pycparser van 2.20 tot 2.21
    • Pygments van 2.10.0 tot 2.11.2
    • pyodbc van 4.0.31 tot 4.0.32
    • pyzmq van 22.2.1 tot 22.3.0
    • aanvragen van 2.26.0 tot 2.27.1
    • s3transfer van 0.5.2 tot 0.5.0
    • scikit-learn van 0.24.2 tot 1.0.2
    • scipy van 1.7.1 tot 1.7.3
    • statsmodels van 0.12.2 tot 0.13.2
    • terminado van 0.9.4 tot 0.13.1
    • tomli van 2.0.1 tot 1.2.2
    • traitlets van 5.1.0 tot 5.1.1
    • urllib3 van 1.26.7 tot 1.26.9
    • widgetsnbextension van 3.6.0 tot 3.6.1
  • Bijgewerkte R-bibliotheken:
    • basis van 4.1.3 tot 4.2.2
    • brew van 1.0-7 tot 1.0-8
    • bslib van 0.4.0 tot 0.4.1
    • beller van 3.7.2 tot 3.7.3
    • chron van 2.3-57 tot 2.3-58
    • cli van 3.3.0 naar 3.4.1
    • cluster van 2.1.3 tot 2.1.4
    • commonmark tussen 1.8.0 en 1.8.1
    • compiler van 4.1.3 tot 4.2.2
    • cpp11 van 0.4.2 tot 0.4.3
    • krijt van 1.5.1 tot 1.5.2
    • curl van 4.3.2 tot 4.3.3
    • data.table van 1.14.2 tot 1.14.4
    • gegevenssets van 4.1.3 tot 4.2.2
    • desc van 1.4.1 tot 1.4.2
    • devtools van 2.4.4 tot 2.4.5
    • digest van 0.6.29 tot 0.6.30
    • e1071 van 1,7-11 tot 1,7-12
    • evalueren van 0,16 tot 0,18
    • fontawesome van 0.3.0 tot 0.4.0
    • toekomst van 1.28.0 tot 1.29.0
    • future.apply from 1.9.1 to 1.10.0
    • slingeren van 1.2.0 tot 1.2.1
    • gert van 1.8.0 tot 1.9.1
    • ggplot2 van 3.3.6 tot 3.4.0
    • gh van 1.3.0 tot 1.3.1
    • gitcreds van 0.1.1 tot 0.1.2
    • afbeeldingen van 4.1.3 tot 4.2.2
    • grDevices van 4.1.3 tot 4.2.2
    • raster van 4.1.3 tot 4.2.2
    • httpuv van 1.6.5 tot 1.6.6
    • isoband van 0.2.5 tot 0.2.6
    • jsonlite van 1.8.0 tot 1.8.3
    • lava van 1.6.10 tot 1.7.0
    • levenscyclus van 1.0.1 tot 1.0.3
    • lubridate van 1.8.0 tot 1.9.0
    • markdown van 1.1 tot en met 1.3
    • MASSA van 7,3-56 tot 7,3-58
    • Matrix van 1,4-1 tot 1,5-1
    • methoden van 4.1.3 tot 4.2.2
    • mgcv van 1,8-40 tot 1,8-41
    • nlme van 3.1-157 tot 3.1-160
    • nnet van 7.3-17 tot 7.3-18
    • openssl van 2.0.2 tot 2.0.4
    • parallel van 4.1.3 tot 4.2.2
    • pkgload van 1.3.0 tot 1.3.1
    • processx van 3.7.0 tot 3.8.0
    • ps van 1.7.1 tot 1.7.2
    • purrr van 0.3.4 tot 0.3.5
    • ragg van 1.2.2 tot 1.2.4
    • RcppEigen van 0.3.3.9.2 tot 0.3.3.9.3
    • leesbewerking van 2.1.2 tot 2.1.3
    • recepten van 1.0.1 tot 1.0.3
    • rlang van 1.0.5 tot 1.0.6
    • rmarkdown van 2.16 tot 2.18
    • rpart van 4.1.16 tot 4.1.19
    • RSQLite van 2.2.16 tot 2.2.18
    • glanzend van 1.7.2 tot 1.7.3
    • SparkR van 3.3.0 tot 3.3.1
    • splines van 4.1.3 tot 4.2.2
    • statistieken van 4.1.3 tot 4.2.2
    • stats4 van 4.1.3 tot 4.2.2
    • sys from 3.4 to 3.4.1
    • tcltk van 4.1.3 tot 4.2.2
    • testthat van 3.1.4 tot 3.1.5
    • tidyr van 1.2.0 tot 1.2.1
    • tidyselect van 1.1.2 tot 1.2.0
    • timeDate van 4021.104 tot 4021.106
    • tinytex van 0,41 tot 0,42
    • hulpprogramma's van 4.1.3 tot 4.2.2
    • hulpmiddelen van 4.1.3 tot 4.2.2
    • vctrs van 0.4.1 tot 0.5.0
    • vroom van 1.5.7 tot 1.6.0
    • xfun van 0,32 tot 0,34
    • yaml van 2.3.5 tot 2.3.6
    • zip van 2.2.0 tot 2.2.2
  • Bijgewerkte Java-bibliotheken:
    • com.fasterxml.jackson.core.jackson-databind van 2.13.4 tot 2.13.4.2
    • org.apache.parquet.parquet-column van 1.12.0-databricks-0007 tot 1.12.3-databricks-0001
    • org.apache.parquet.parquet-common van 1.12.0-databricks-0007 tot 1.12.3-databricks-0001
    • org.apache.parquet.parquet-codering van 1.12.0-databricks-0007 tot 1.12.3-databricks-0001
    • org.apache.parquet.parquet-format-structures from 1.12.0-databricks-0007 to 1.12.3-databricks-0001
    • org.apache.parquet.parquet-hadoop van 1.12.0-databricks-0007 tot 1.12.3-databricks-0001
    • org.apache.parquet.parquet-jackson van 1.12.0-databricks-0007 tot 1.12.3-databricks-0001
    • org.apache.yetus.audience-annotaations van 0.5.0 tot 0.13.0

Apache Spark

Databricks Runtime 12.0 bevat Apache Spark 3.3.1. Deze release bevat alle Spark-fixes en verbeteringen die zijn opgenomen in Databricks Runtime 11.3 LTS, evenals de volgende aanvullende bugfixes en verbeteringen in Spark:

  • [SPARK-40844] [SC-116996] [12.x] [12.0] [12.0.0] Revert "[SC-113542][SS] Flip the default value of Kafka offset fetch config"
  • [SPARK-40646] [SC-116061] Herstel [SC-113379][SQL] Oplossing voor het retourneren van gedeeltelijke resultaten in JSON-gegevensbron en JSON-functies
  • [SPARK-41195] [SC-116305] [SQL] Ondersteuning voor PIVOT/UNPIVOT met join-onderliggende items
  • [SPARK-41178] [SC-116139] [SQL] Parser-regelprioriteit tussen JOIN en komma herstellen
  • [SPARK-41072] [SC-116140] [SC-116044] [SC-115852] [SQL] [SS] De foutklasse STREAM_FAILED toevoegen aan StreamingQueryException
  • [SPARK-40921] [SC-115140][SC-114585][SQL] Toevoegen WANNEER NIET OVEREENKOMT MET DE BRON-component OM SAMEN TE VOEGEN IN
  • [SPARK-37980] [SC-115758] [SQL] Kolom METAGEGEVENS uitbreiden ter ondersteuning van rijindexen voor Parquet-bestanden
  • [SPARK-41055] [SC-115582] [SQL] Naam wijzigen _LEGACY_ERROR_TEMP_2424 in GROUP_BY_AGGREGATE
  • [SPARK-41101] [SC-115849] [PYTHON] [PROTOBUF] Ondersteuning voor berichtklassenaam voor PYSPARK-PROTOBUF
  • [SPARK-40956] [SC-115867] SQL-equivalent voor dataframe-overschrijfopdracht
  • [SPARK-41095] [SC-115659] [SQL] Niet-opgeloste operators converteren naar interne fouten
  • [SPARK-41144] [SC-115866] [SQL] Niet-opgeloste hint mag geen queryfout veroorzaken
  • [SPARK-41137] [SC-115858] [SQL] Naam wijzigen LATERAL_JOIN_OF_TYPE in INVALID_LATERAL_JOIN_TYPE
  • [SPARK-40998] [SC-114754] [SQL] De naam van de foutklasse _LEGACY_ERROR_TEMP_0040 wijzigen in INVALID_IDENTIFIER
  • [SPARK-41015] [SC-115130] [SQL] [PROTOBUF] UnitTest null-controle voor gegevensgenerator
  • [SPARK-40769] [SC-114923] [CORE] [SQL] Fout bij het migreren van typecontrole van statistische expressies naar foutklassen
  • [SPARK-41043] [SC-115183] [SQL] De naam van de foutklasse _LEGACY_ERROR_TEMP_2429 wijzigen in NUM_COLUMNS_MISMATCH
  • [SPARK-40777] [SC-114855] [SQL] [PROTOBUF] Protobuf-importondersteuning en foutklassen verplaatsen.
  • [SPARK-41019] [SC-114987] [SQL] Geef een querycontext op om failAnalysis()
  • [SPARK-41027] [SC-115131] [SQL] Gebruiken UNEXPECTED_INPUT_TYPE in plaats van MAP_FROM_ENTRIES_WRONG_TYPE
  • [SPARK-40476] [SC-115868] [SC-111163] [ML] [SQL] De willekeurige grootte van ALS verkleinen
  • [SPARK-41134] [SC-115851] [SQL] Foutbericht van interne fouten verbeteren
  • [SPARK-37980] Revert " [SQL] Extend METADATA column to support row indexes for Parquet files
  • [SPARK-41109] [SC-115788] [SQL] Wijzig de naam van de foutklasse _LEGACY_ERROR_TEMP_1216 in INVALID_LIKE_PATTERN
  • [SPARK-40984] [SC-115844] [CORE] [SQL] Gebruiken NON_FOLDABLE_INPUT in plaats van FRAME_LESS_OFFSET_WITHOUT_FOLDABLE
  • [SPARK-41029] [SC-115828] [SQL] Constructorgebruik optimaliseren voor GenericArrayData Scala 2.13
  • [SPARK-40697] [SC-113648] [SQL] Tekenopvulling aan de leeszijde toevoegen om externe gegevensbestanden te behandelen
  • [SPARK-40978] [SC-114574] [SQL] Een context migreren failAnalysis() naar foutklassen
  • [SPARK-40663] [SC-114586] [SQL] Uitvoeringsfouten migreren naar foutklassen: _LEGACY_ERROR_TEMP_2251-2275
  • [SPARK-38959] [SC-115672] [SC-112707] [SQL] DS V2: Ondersteuning voor het filteren van runtimegroepen in opdrachten op rijniveau
  • [SPARK-40372] [SC-115668] [SQL] Migreer fouten van matrixtypecontroles op foutklassen
  • [SPARK-41038] [SC-115371] [SQL] Naam wijzigen MULTI_VALUE_SUBQUERY_ERROR in SCALAR_SUBQUERY_TOO_MANY_ROWS
  • [SPARK-40965] [SC-114443] [SQL] De naam van de foutklasse _LEGACY_ERROR_TEMP_1208 wijzigen in FIELD_NOT_FOUND
  • [SPARK-40748] [SC-114696] [SQL] Typecontrolefouten van voorwaarden migreren naar foutklassen
  • [SPARK-40371] [SC-114557] [SQL] Typecontrolefouten van NthValue en NTile migreren naar foutklassen
  • [SPARK-41092] [SC-115547] [SQL] Gebruik geen id om intervaleenheden overeen te laten komen
  • [SPARK-41009] [SC-115360] [SQL] De naam van de foutklasse _LEGACY_ERROR_TEMP_1070 wijzigen in LOCATION_ALREADY_EXISTS
  • [SPARK-37980] [SQL] Kolom METAGEGEVENS uitbreiden ter ondersteuning van rijindexen voor Parquet-bestanden
  • [SPARK-40967] [SC-114448] [SQL] Migreren failAnalysis() naar foutklassen
  • [SPARK-34265] [SC-115486] [SC-113788] [PYTHON] [SQL] Python UDF's instrumenteert met behulp van metrische SQL-gegevens
  • [SPARK-41012] [SC-114873] [SQL] Naam wijzigen _LEGACY_ERROR_TEMP_1022 in ORDER_BY_POS_OUT_OF_RANGE
  • [SPARK-41042] [SC-115142] [SQL] Naam wijzigen PARSE_CHAR_MISSING_LENGTH in DATATYPE_MISSING_SIZE
  • [SPARK-40752] [SC-114442] [SQL] Fout bij het migreren van typecontrole van misc-expressies naar foutklassen
  • [SPARK-37945] [SC-115534] [SQL] [CORE] Foutklassen gebruiken in de uitvoeringsfouten van rekenkundige ops
  • [SPARK-40374] [SC-114705] [SQL] Typecontrolefouten van typemakers migreren naar foutklassen
  • [SPARK-41056] [SC-115354] [R] Nieuwe R_LIBS_SITE gedrag opgelost dat is geïntroduceerd in R 4.2
  • [SPARK-41041] [SC-115357] [SQL] Integreren _LEGACY_ERROR_TEMP_1279 in TABLE_OR_VIEW_ALREADY_EXISTS
  • [SPARK-40663] [SC-114852] [SQL] Uitvoeringsfouten migreren naar foutklassen: _LEGACY_ERROR_TEMP_2201-2225
  • [SPARK-41020] [SC-114984] [SQL] De naam van de foutklasse _LEGACY_ERROR_TEMP_1019 wijzigen in STAR_GROUP_BY_POS
  • [SPARK-41035] [SC-115233] [SQL] Patch geen opvouwbare onderliggende elementen van statistische functies in RewriteDistinctAggregates
  • [SPARK-39778] [SC-114353] [SQL] Foutklassen en berichten verbeteren
  • [SPARK-40798] [SC-113782] [SQL] De partitie moet de waarde controleren na storeAssignmentPolicy
  • [SPARK-40810] [SC-113533] [SQL] SparkIllegalArgumentException gebruiken in plaats van IllegalArgumentException in CreateDatabaseCommand & AlterDatabaseSetLocationCommand
  • [SPARK-40921] [SC-115140] [SC-114585] [SQL] Toevoegen ALS DE COMPONENT NIET OVEREENKOMT MET BRON OM SAMEN TE VOEGEN IN
  • [SPARK-40360] [SC-114965] uitzonderingen voor ALREADY_EXISTS en NOT_FOUND
  • [SPARK-41007] [SC-115085] [SQL] Ontbrekende serializer toevoegen voor java.math.BigInteger
  • [SPARK-40751] [SC-114254] [SQL] Typecontrolefouten van functies in hoge volgorde migreren naar foutklassen
  • [SPARK-40248] [SC-114704] [SQL] Gebruik een groter aantal bits om een Bloom-filter te bouwen
  • [SPARK-41040] [SC-115145] [SS] Probleem met streamingquery's voor self-union oplossen bij gebruik van readStream.table
  • [SPARK-32380] [SC-114966] [SQL] Toegang tot HBase-tabel oplossen via Hive vanuit Spark
  • [SPARK-40749] [SC-114860] [SQL] Typecontrolefouten van generatoren migreren naar foutklassen
  • [SPARK-40925] [SC-114445] [SQL] [SS] [WARMFIX] [12.x] Stateful operator te laat herstellen...
  • [SPARK-40654] [SC-112783] Tijdelijke logboeklijnen verwijderen
  • [SPARK-40742] [SC-114913] [SC-112646] [CORE] [SQL] Java-compilatiewaarschuwingen met betrekking tot algemeen type herstellen
  • [SPARK-40657] [SC-113642] [Cherry-pick] Ondersteuning voor Java-klassen toevoegen in Protob...
  • [SPARK-40898] [SC-113932] [SQL] Namen van aanhalingstekens in fouten die niet overeenkomen met gegevenstypen
  • [SPARK-40760] [SC-113750] [SQL] Typecontrolefouten van intervalexpressies migreren naar foutklassen
  • [SPARK-36114] [SC-113771] [SQL] Subquery's ondersteunen met gecorreleerde predicaten voor niet-gelijkheid
  • [SPARK-40856] [SC-113738] [SQL] De foutsjabloon van WRONG_NUM_PARAMS bijwerken
  • [SPARK-40759] [SC-114251] [SQL] Typecontrolefouten van tijdvenster migreren naar foutklassen
  • [SPARK-40750] [SC-113812] [SQL] Typecontrolefouten van wiskundige expressies migreren naar foutklassen
  • [SPARK-40756] [SC-113749] [SQL] Typecontrolefouten van tekenreeksexpressies migreren naar foutklassen
  • [SPARK-40768] [SC-113640] [SQL] Typecontrolefouten van bloom_filter_agg() migreren naar foutklassen
  • [SPARK-40369] [SC-113402] [CORE] [SQL] Het typecontrolefouten van aanroepen migreren via weerspiegeling naar foutklassen
  • [SPARK-39445] [SQL] Het venster verwijderen als windowExpressions leeg is in kolomsnoeien
  • [SPARK-40761] [SC-113245] [SQL] Typecontrolefouten van percentielexpressies migreren naar foutklassen
  • [SPARK-40361] [SC-112789] [SQL] Rekenkundige typecontrolefouten migreren naar foutklassen
  • [SPARK-40714] [SC-112576] [SQL] Verwijderen PartitionAlreadyExistsException
  • [SPARK-40702] [SC-112437] [SQL] Partitiespecificaties herstellen in PartitionsAlreadyExistException
  • [SPARK-40358] [SC-112631] [SQL] Controlefouten van verzamelingstype migreren naar foutklassen
  • [SPARK-40910] [SC-114259] [SQL] UnsupportedOperationException vervangen door SparkUnsupportedOperationException
  • [SPARK-39876] [SC-112429] [SQL] UNPIVOT toevoegen aan SQL-syntaxis
  • [SPARK-39783] [SC-113389] [SQL] Quote qualifiedName om backticks voor kolomkandidaten in foutberichten op te lossen
  • [SPARK-40663] [SC-112520] [SQL] Uitvoeringsfouten migreren naar foutklassen: _LEGACY_ERROR_TEMP_2026-2282
  • [SPARK-40975] [SC-114555] [SQL] De naam van de foutklasse _LEGACY_ERROR_TEMP_0021 wijzigen in UNSUPPORTED_TYPED_LITERAL
  • [SPARK-37935] [SC-114472] [SQL] Afzonderlijke subklassevelden voor fouten elimineren
  • [SPARK-40944] [SC-114530] [SQL] De volgordebeperking voor opties voor CREATE TABLE-kolommen versoepelen
  • [SPARK-40815] [SC-114528] [SQL] Toevoegen DelegateSymlinkTextInputFormat aan tijdelijke oplossingsfout SymlinkTextInputSplit
  • [SPARK-40933] [SC-114441] [SQL] Reimplement df.stat. {cov, corr} met ingebouwde SQL-functies
  • [SPARK-40932] [SC-114439] [CORE] Probleemberichten voor allGather worden overschreven
  • [SPARK-39312] [SQL] Parquet native In predicaat gebruiken voor in filterpush omlaag
  • [SPARK-40862] [SC-114352] [SQL] Ondersteuning voor niet-geaggregeerde subquery's in RewriteCorrelatedScalarSubquery
  • [SPARK-40963] [SC-114446] [SQL] Null-waarde correct instellen in het project dat is gemaakt door ExtractGenerator
  • [SPARK-40663] [SC-112295] [SQL] Uitvoeringsfouten migreren naar foutklassen: _LEGACY_ERROR_TEMP_2000-2024
  • [SPARK-40892] [SC-114347] [SQL] [SS] Versoepeling van de vereiste van window_time regel: meerdere window_time aanroepen toestaan
  • [SPARK-40540] [SC-111639] [SQL] Compilatiefouten migreren naar foutklassen: _LEGACY_ERROR_TEMP_1100-1347
  • [SPARK-40924] [SC-114258] [SQL] Oplossing voor Unhex wanneer invoer een oneven aantal symbolen heeft
  • [SPARK-40821] [SC-113754] [SQL] [CORE] [PYTHON] [SS] Introduceer window_time functie om gebeurtenistijd uit de vensterkolom te extraheren
  • [SPARK-40800] [SC-113772] [SQL] Altijd inline-expressies in OptimizeOneRowRelationSubquery
  • [SPARK-40900] [SC-114006] [SQL] Opnieuw implementeren frequentItems met dataframebewerkingen
  • [SPARK-40735] [SC-114022] [SC-112657] bash consistent aanroepen met /usr/bin/env bash in scripts om code draagbaarder te maken
  • [SPARK-40773] [SC-113091] [SQL] Refactor checkCorrelationsInSubquery
  • [SPARK-40615] [SC-113400] [SQL] Niet-ondersteunde gegevenstypen controleren bij het inrichten van subquery's
  • [SPARK-40660] [SC-112293] [CORE] [SQL] Overschakelen naar XORShiftRandom om elementen te distribueren
  • [SPARK-40540] [SC-113926] [SC-111331] [SQL] Compilatiefouten migreren naar foutklassen
  • [SPARK-40551] [SC-113135] [SQL] DataSource V2: API's toevoegen voor bewerkingen op rijniveau op basis van delta
  • [SPARK-39391] [SC-110676] [CORE] Partitioner-klassen opnieuw gebruiken
  • [SPARK-40368] [SC-113396] [SQL] Controlefouten van bloomfilters migreren naar foutklassen
  • [SPARK-39146] [SC-111814] [CORE] [SQL] Lokale singleton introduceren voor ObjectMapper die mogelijk opnieuw worden gebruikt
  • [SPARK-40357] [SC-113786] [SC-111352] [SQL] Venstertypecontrolefouten migreren naar foutklassen
  • [SPARK-40874] [SC-113756] [PYTHON] Broadcasts in Python UDF's herstellen wanneer versleuteling is ingeschakeld
  • [SPARK-40359] [SC-113770] [SC-111146] [SQL] Typecontrole mislukt in CSV-/JSON-expressies naar foutklassen
  • [SPARK-40880] [SC-113764] [SQL] Opnieuw implementeren summary met dataframebewerkingen
  • [SPARK-40877] [SC-113763] [SQL] Opnieuw implementeren crosstab met dataframebewerkingen
  • [SPARK-40382] [SC-113098] [SQL] Afzonderlijke statistische expressies groeperen op semantisch equivalente onderliggende elementen in RewriteDistinctAggregates
  • [SPARK-40826] [SC-113532] [SS] Extra controlepuntnaam van bestandscontrole toevoegen
  • [SPARK-40829] [SC-113426] [SQL] OPGESLAGEN ALS serde in de WEERGAVE CREATE TABLE LIKE werkt niet
  • [SPARK-40844] [SC-113542] [SS] De standaardwaarde van de Kafka-offset die configuratie ophaalt spiegelen
  • [SPARK-40488] [SC-113568] [SC-111160] Geen uitzonderingen verpakken die zijn opgetreden wanneer schrijven van gegevensbron mislukt
  • [SPARK-40560] [SC-113631] [SC-111335] [SQL] messageTemplate De naam wijzigen message in de STANDARD indeling van fouten
  • [SPARK-40618] [SC-113096] [SQL] Fout opgelost in de regel MergeScalarSubqueries met geneste subquery's met behulp van verwijzingstracering
  • [SPARK-40530] [SC-113528] [SC-111332] [SQL] Foutgerelateerde ontwikkelaars-API's toevoegen
  • [SPARK-40806] [SC-113250] [SQL] Typfout opgelost: CREATE TABLE -> REPLACE TABLE
  • [SPARK-40646] [SC-113379] [SQL] Oplossing voor het retourneren van gedeeltelijke resultaten in JSON-gegevensbron- en JSON-functies
  • [SPARK-40654] [Cherry-pick] [SC-112783] [SQL] Protobuf-ondersteuning voor Spark - van...
  • [SPARK-40753] [SC-113539] [SQL] Fout opgelost in testcase voor catalogusmapbewerking
  • [SPARK-40765] [SC-113056] [SQL] Redundante fs-bewerking optimaliseren in CommandUtils#calculateSingleLocationSize#getPathSize methode
  • [SPARK-40114] [ES-479282] [R] [11.X] Ondersteuning voor Arrow 9.0.0 met SparkR
  • [SPARK-40479] [SC-110935] [SQL] Onverwachte invoertypefout migreren naar een foutklasse
  • [SPARK-40473] [SC-113388] [SC-111141] [SQL] Parseringsfouten migreren naar foutklassen
  • [SPARK-39853] [SC-111867] [CORE] Resourceprofiel voor taak op faseniveau voor zelfstandig cluster ondersteunen wanneer dynamische toewijzing is uitgeschakeld (backpoort van PR-47157)
  • [SPARK-40407] [SC-111161] [SQL] Mogelijke scheeftrekken van gegevens oplossen die worden veroorzaakt door df.repartition
  • [SPARK-40425] [SC-110840] [SQL] DROP TABLE hoeft geen opzoekactie voor tabellen uit te voeren
  • [SPARK-40703] [SC-113242] [SQL] Introduceer shuffle voor SinglePartition om parallellisme te verbeteren
  • [SPARK-40640] [SC-113138] [CORE] SparkHadoopUtil om de oorsprong van hadoop/hive-configuratieopties in te stellen
  • [SPARK-39062] [11.x] [CORE] Ondersteuning voor resourceplanning op faseniveau toevoegen voor een zelfstandig cluster
  • [SPARK-33861] [SC-109877] [SQL] Vereenvoudig voorwaardelijk in predicaat
  • [SPARK-40667] [SC-113136] [SQL] Opties voor bestandsgegevensbronnen herstructureren
  • [SPARK-40370] [SC-110677] [SQL] Typecontrole migreren mislukt in foutklassen in CAST
  • [SPARK-40611] [SC-113105] [SQL] De prestaties van setInterval & getInterval verbeteren UnsafeRow
  • [SPARK-40733] [SC-113126] [SQL] De inhoud van SERDEPROPERTIES het resultaat van ShowCreateTableAsSerdeCommand een vaste volgorde maken
  • [SPARK-40585] [SC-112180] [SQL] Ondersteuning voor id's met dubbele aanhaling
  • [SPARK-40772] [SC-112992] [SQL] Verbeteren spark.sql.adaptive.skewJoin.skewedPartitionFactor om waarden te ondersteunen Double
  • [SPARK-40565] [SC-112417] [SQL] Push niet niet-deterministische filters naar V2-bestandsbronnen
  • [SPARK-8731] [SC-112784] Beeline werkt niet met de optie -e wanneer deze op de achtergrond wordt gestart
  • [SPARK-35242] [SC-111398] [SQL] Ondersteuning voor het wijzigen van de standaarddatabase van de sessiecatalogus
  • [SPARK-40426] [SC-110672] [SQL] Een kaart retourneren van SparkThrowable.getMessageParameters
  • [SPARK-40494] [SC-112655] [SC-111025] [CORE] [SQL] [ML] [MLLIB] De prestaties van keys.zipWithIndex.toMap het codepatroon optimaliseren
  • [SPARK-40521] [SC-112430] [SQL] Retourneert alleen partities in PartitionsAlreadyExistException de makenpartitie van Hive
  • [SPARK-40705] [SC-112567] [SQL] Handle case of using mutable array when converting Row to JSON for Scala 2.13
  • [SPARK-39895] [SC-112590] [SQL] [PYTHON] Ondersteuning voor neerzetten van meerdere kolommen
  • [SPARK-40607] [SC-112296] [CORE] [SQL] [MLLIB] [SS] Redundante tekenreeksinterpolatorbewerkingen verwijderen
  • [SPARK-40420] [SC-112604] [SC-110569] [SQL] Parameters voor foutberichten sorteren op namen in de JSON-indelingen
  • [SPARK-40403] [SC-110564] [SQL] Onveilige matrixgrootte berekenen met behulp van langen om negatieve grootte in foutberichten te voorkomen
  • [SPARK-40482] [SC-110831] [SQL] Terugkeren SPARK-24544 Print actual failure cause when look up function failed
  • [SPARK-40400] [SC-112555] [SC-110397] [SQL] Parameters voor foutberichten doorgeven aan uitzonderingen als toewijzingen
  • [SPARK-40628] [SC-112414] [SQL] Geen complexe semi-/anti-joinvoorwaarde links pushen via project
  • [SPARK-40562] [SC-111455] [SQL] Toevoegen spark.sql.legacy.groupingIdWithAppendedUserGroupBy
  • [SPARK-40501] [SC-111333] [SQL] PushProjectionThroughLimit toevoegen voor Optimizer
  • [SPARK-39200] [SC-111244] [CORE] Back-backopslag lezen op inhoud
  • [SPARK-38717] [SC-111241] [SQL] Het behoudgedrag van de bucketspecificatie van Hive verwerken
  • [SPARK-40385] [SC-111123] [SQL] Geïnterpreteerd pad voor de constructor voor secundaire objecten corrigeren
  • [SPARK-40216] [SC-112413] [SQL] ParquetUtils.prepareWrite Algemene methode extraheren om code te ontdubbelen in ParquetFileFormat en ParquetWrite
  • [SPARK-40636] [SC-112160] [CORE] Fout opgelost in logboeken met willekeurige volgordes in BlockManagerDecommissioner
  • [SPARK-40617] [SC-112009] Racevoorwaarde herstellen bij de verwerking van de stageTCMP-vermeldingen van ExecutorMetricsPoller
  • [SPARK-40618] [SC-112046] [SQL] Fout opgelost in de regel MergeScalarSubqueries met geneste subquery's
  • [SPARK-40612] [SC-111933] [CORE] De principal herstellen die wordt gebruikt voor het vernieuwen van tokens voor niet-YARN-resourcemanagers
  • [SPARK-40595] [SC-111662] [SQL] Foutbericht voor ongebruikte CTE-relaties verbeteren
  • [SPARK-40314] [SC-111879] [SQL] [PYTHON] Scala- en Python-bindingen toevoegen voor inline en inline_outer
  • [SPARK-40416] [SC-110945] [SQL] Subquery-expressie CheckAnalysis-foutberichten verplaatsen om het nieuwe foutframework te gebruiken
  • [SPARK-40318] [SC-111865] [SC-109986] [SQL] try_avg() moet de uitzonderingen van het onderliggende element genereren
  • [SPARK-40509] [SC-111644] [SS] [PYTHON] Voorbeeld voor applyInPandasWithState toevoegen
  • [SPARK-40310] [SC-111329] [SC-109842] [SQL] try_sum() moet de uitzonderingen van het onderliggende element genereren
  • [SPARK-40016] [SQL] Verwijder onnodig TryEval in de implementatie van try_sum()
  • [SPARK-40527] [SC-111224] [SQL] Struct-veldnamen of toewijzingssleutels behouden in CreateStruct
  • [SPARK-38098] [SC-111178] [PYTHON] Ondersteuning voor ArrayType van geneste StructType toevoegen aan conversie op basis van pijlen
  • [SPARK-40324] [SC-111359] [SC-110293] [SQL] Querycontext opgeven in AnalysisException
  • [SPARK-40492] [SC-111324] [SS] Onderhoud uitvoeren voordat stateStore wordt gestreamd
  • [SPARK-40487] [SC-111124] [SQL] Standaardjoin in BroadcastNestedLoopJoinExec parallel uitvoeren
  • [SPARK-40474] [SC-111273] [SQL] Gedrag van CSV-schemadeductie en gegevensparsering corrigeren voor kolommen met gemengde datums en tijdstempels
  • [SPARK-40508] [SC-111066] [SQL] Onbekende partitionering behandelen als UnknownPartitioning
  • [SPARK-40496] [SC-111234] [SC-111013] [SQL] Configuraties herstellen om 'enableDateTimeParsingFallback' te beheren
  • [SPARK-40435] [SC-111214] [SS] [PYTHON] Testsuites toevoegen voor applyInPandasWithState in PySpark
  • [SPARK-40434] [SC-111125] [SS] [PYTHON] ApplyInPandasWithState implementeren in PySpark

Onderhoudsupdates

Zie onderhoudsupdates voor Databricks Runtime 12.0.

Systeemomgeving

  • Besturingssysteem: Ubuntu 20.04.5 LTS
  • Java: Zulu 8.64.0.19-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.5
  • R: 4.2.2
  • Delta Lake: 2.2.0

Geïnstalleerde Python-bibliotheken

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
argon2-cffi 21.3.0 argon2-cffi-bindingen 21.2.0 asttokens 2.0.5
attrs 21.4.0 backcall 0.2.0 backports.entry-points-selectable 1.2.0
beautifulsoup4 4.11.1 zwart 22.3.0 Bleekmiddel 4.1.0
boto3 1.21.32 botocore 1.24.32 certifi 2021.10.8
Cffi 1.15.0 Chardet 4.0.0 charset-normalizer 2.0.4
klikken 8.0.4 Cryptografie 3.4.8 cycler 0.11.0
Cython 0.29.28 dbus-python 1.2.16 foutopsporing 1.5.1
Decorator 5.1.1 defusedxml 0.7.1 distlib 0.3.6
invoerpunten 0,4 Uitvoeren 0.8.3 facets-overview 1.0.0
fastjsonschema 2.16.2 filelock 3.8.0 Fonttools 4.25.0
idna 3.3 ipykernel 6.15.3 Ipython 8.5.0
ipython-genutils 0.2.0 ipywidgets 7.7.2 Jedi 0.18.1
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.1.0
jsonschema 4.4.0 jupyter-client 6.1.12 jupyter_core 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 kiwisolver 1.3.2
MarkupSafe 2.0.1 matplotlib 3.5.1 matplotlib-inline 0.1.2
mistune 0.8.4 mypy-extensions 0.4.3 nbclient 0.5.13
nbconvert 6.4.4 nbformat 5.3.0 nest-asyncio 1.5.5
notebook 6.4.8 Numpy 1.21.5 Verpakking 21.3
Pandas 1.4.2 pandocfilters 1.5.0 parso 0.8.3
pathspec 0.9.0 Patsy 0.5.2 Pexpect 4.8.0
pickleshare 0.7.5 Kussen 9.0.1 Pip 21.2.4
platformdirs 2.5.4 plotly 5.6.0 prometheus-client 0.13.1
prompt-toolkit 3.0.20 protobuf 3.19.4 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 7.0.0 pycparser 2.21 Pygments 2.11.2
Pygobject 3.36.0 pyodbc 4.0.32 Pyparsing 3.0.4
pyrsistent 0.18.0 python-dateutil 2.8.2 pytz 2021.3
pyzmq 22.3.0 requests 2.27.1 requests-unixsocket 0.2.0
s3transfer 0.5.0 scikit-learn 1.0.2 Scipy 1.7.3
seaborn 0.11.2 Send2Trash 1.8.0 Setuptools 58.0.4
Zes 1.16.0 soepsieve 2.3.1 ssh-import-id 5.10
stack-data 0.2.0 statsmodels 0.13.2 Vasthoudendheid 8.0.1
terminado 0.13.1 testpath 0.5.0 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tomli 1.2.2 Tornado 6.1
traitlets 5.1.1 typing_extensions 4.1.1 upgrades zonder toezicht 0,1
urllib3 1.26.9 Virtualenv 20.8.0 wcwidth 0.2.5
webencodings 0.5.1 Wiel 0.37.0 widgetsnbextension 3.6.1

Geïnstalleerde R-bibliotheken

R-bibliotheken worden geïnstalleerd vanuit de Microsoft CRAN-momentopname op 2022-11-11.

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
pijl 10.0.0 Askpass 1.1 assertthat 0.2.1
Backports 1.4.1 base 4.2.2 base64enc 0.1-3
bit 4.0.4 bit64 4.0.5 blob 1.2.3
opstarten 1.3-28 Brouwsel 1.0-8 Brio 1.1.3
Bezem 1.0.1 bslib 0.4.1 cachem 1.0.6
beller 3.7.3 caret 6.0-93 cellranger 1.1.0
Chron 2.3-58 class 7.3-20 cli 3.4.1
clipr 0.8.0 Klok 0.6.1 cluster 2.1.4
Codetools 0.2-18 Colorspace 2.0-3 commonmark 1.8.1
Compiler 4.2.2 configuratie 0.3.1 cpp11 0.4.3
Crayon 1.5.2 aanmeldingsgegevens 1.3.2 curl 4.3.3
data.table 1.14.4 gegevenssets 4.2.2 DBI 1.1.3
dbplyr 2.2.1 Desc 1.4.2 Devtools 2.4.5
diffobj 0.3.5 Digest 0.6.30 downlit 0.4.2
dplyr 1.0.10 dtplyr 1.2.2 e1071 1.7-12
ellipsis 0.3.2 evaluate 0,18 fansi 1.0.3
farver 2.1.1 fastmap 1.1.0 fontawesome 0.4.0
forcats 0.5.2 foreach 1.5.2 Buitenlandse 0.8-82
Forge 0.2.0 Fs 1.5.2 Toekomst 1.29.0
future.apply 1.10.0 Gorgelen 1.2.1 Generics 0.1.3
Gert 1.9.1 ggplot2 3.4.0 Gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-4 Globals 0.16.1
Lijm 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
Gower 1.0.0 afbeeldingen 4.2.2 grDevices 4.2.2
Raster 4.2.2 gridExtra 2.3 gsubfn 0,7
gtable 0.3.1 hardhat 1.2.0 haven 2.5.1
highr 0,9 Hms 1.1.2 htmltools 0.5.3
htmlwidgets 1.5.4 httpuv 1.6.6 httr 1.4.4
ids 1.0.1 Ini 0.3.1 Ipred 0.9-13
isoband 0.2.6 Iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.3 Kernsmooth 2.23-20 breiwerk 1,40
Labeling 0.4.2 Later 1.3.0 Lattice 0.20-45
lava 1.7.0 levenscyclus 1.0.3 listenv 0.8.0
lubridate 1.9.0 magrittr 2.0.3 Markdown 1.3
MASS 7.3-58 Matrix 1.5-1 memoise 2.0.1
methoden 4.2.2 Mgcv 1.8-41 Mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modeller 0.1.9
munsell 0.5.0 Nlme 3.1-160 Nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.4 parallel 4.2.2
parallel 1.32.1 Pijler 1.8.1 pkgbuild 1.3.1
Pkgconfig 2.0.3 pkgdown 2.0.6 pkgload 1.3.1
plogr 0.2.0 plyr 1.8.7 Lof 1.0.0
prettyunits 1.1.1 Proc 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 Voortgang 1.2.2
progressr 0.11.0 Beloften 1.2.0.1 Proto 1.0.0
Proxy 0.4-27 ps 1.7.2 Purrr 0.3.5
r2d3 0.2.6 R6 2.5.1 ragg 1.2.4
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
Rcolorbrewer 1.1-3 Rcpp 1.0.9 RcppEigen 0.3.3.9.3
leesbewerking 2.1.3 readxl 1.4.1 recepten 1.0.3
Rematch 1.0.1 opnieuw overeenkomen2 2.1.2 Afstandsbedieningen 2.4.2
reprex 2.0.2 hervorm2 1.4.4 rlang 1.0.6
rmarkdown 2.18 RODBC 1.3-19 roxygen2 7.2.1
Rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.2.18 rstudioapi 0,14 rversions 2.1.2
rvest 1.0.3 Sass 0.4.2 Schalen 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 Vorm 1.4.6
Glanzende 1.7.3 sourcetools 0.1.7 sparklyr 1.7.8
SparkR 3.3.1 Ruimtelijke 7.3-11 Splines 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 Stats 4.2.2
stats4 4.2.2 stringi 1.7.8 stringr 1.4.1
Overleving 3.4-0 sys 3.4.1 systemfonts 1.0.4
Tcltk 4.2.2 testthat 3.1.5 tekstvorm 0.3.6
tibble 3.1.8 tidyr 1.2.1 tidyselect 1.2.0
tidyverse 1.3.2 timechange 0.1.1 Timedate 4021.106
tinytex 0.42 tools 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.2
utils 4.2.2 uuid 1.1-0 vctrs 0.5.0
viridisLite 0.4.1 Vroom 1.6.0 Waldo 0.4.0
whisker 0,4 withr 2.5.0 xfun 0.34
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
Yaml 2.3.6 Zip 2.2.2

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)

Groeps-id Artefact-id Versie
Antlr Antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics Stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-gearceerd 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Klasgenoot 1.3.4
com.fasterxml.jackson.core jackson-annotaties 2.13.4
com.fasterxml.jackson.core jackson-core 2.13.4
com.fasterxml.jackson.core jackson-databind 2.13.4.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.4
com.github.ben-manes.cafeïne Cafeïne 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib kern 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava Guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger profiler 1.1.1
com.jcraft Jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuratie 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.netje.netlib Arpack 2.2.1
dev.netje.netlib Blas 2.2.1
dev.netje.netlib Lapack 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.5.2
io.dropwizard.metrics metrische gegevenskern 4.1.1
io.dropwizard.metrics metrische gegevensgrafiet 4.1.1
io.dropwizard.metrics metrische statuscontroles 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Collector 0.12.0
jakarta.annotatie jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activering 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction Jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
Jline Jline 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna jna 5.8.0
net.razorvine Augurk 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-CSV 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.22
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr Stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow pijlnotatie 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow pijlvector 7.0.0
org.apache.avro Avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recepten 2.13.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.4-databricks
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy Ivy 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.6
org.apache.orc orc-mapreduce 1.7.6
org.apache.orc orc-shims 1.7.6
org.apache.parquet parquet-column 1.12.3-databricks-0001
org.apache.parquet parquet-common 1.12.3-databricks-0001
org.apache.parquet parquet-codering 1.12.3-databricks-0001
org.apache.parquet parquet-format-structuren 1.12.3-databricks-0001
org.apache.parquet parquet-hadoop 1.12.3-databricks-0001
org.apache.parquet parquet-jackson 1.12.3-databricks-0001
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-gearceerd 4.20
org.apache.yetus aantekeningen voor doelgroepen 0.13.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-vervolg 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance opnieuw verpakt 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator sluimerstand-validator 6.1.0.Final
org.javassist Javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Aantekeningen 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap Shims 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark Ongebruikte 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani Xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel katten-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
Oro Oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1