Databricks Runtime 12.2 LTS

  • Artikel

De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 12.2 LTS, mogelijk gemaakt door Apache Spark 3.3.2.

Databricks heeft deze afbeeldingen uitgebracht in maart 2023.

Nieuwe functies en verbeteringen

Delta Lake-schemaontwikkeling ondersteunt het opgeven van bronkolommen in samenvoeginstructies

U kunt nu alleen kolommen opgeven die aanwezig zijn in de brontabel in invoeg- of updateacties voor samenvoeginstructies wanneer schemaontwikkeling is ingeschakeld. In Databricks Runtime 12.1 en lager kunnen alleen INSERT * acties UPDATE SET * worden gebruikt voor het ontwikkelen van schema's met samenvoegen. Zie Automatische schemaontwikkeling voor Delta Lake-samenvoeging.

Gestructureerde streamingworkloads worden ondersteund op clusters met de modus voor gedeelde toegang

U kunt nu Structured Streaming gebruiken om te communiceren met Unity Catalog op gedeelde clusters. Er gelden enkele beperkingen. Bekijk welke functionaliteit voor gestructureerd streamen ondersteuning biedt voor Unity Catalog.

Nieuwe functies voor voorspellende I/O

Photon-ondersteuning voor Foreachbatch sink is nu beschikbaar. Workloads die worden gestreamd van een bron en samenvoegen in Delta Tables of schrijven naar meerdere sinks, kunnen nu profiteren van de Photonized Foreachbatch-sink.

Ondersteuning voor impliciete laterale kolomaliassen

Azure Databricks biedt nu standaard ondersteuning voor impliciete laterale kolomaliassen. U kunt nu een expressie die eerder in dezelfde SELECT lijst is opgegeven, opnieuw gebruiken. Bijvoorbeeld, gegeven SELECT 1 AS a, kan a + 1 AS bde a in a + 1 worden omgezet als de eerder gedefinieerde 1 AS a. Controleer naamomzetting voor meer informatie in resolutievolgorde. Als u deze functie wilt uitschakelen, kunt u instellen spark.sql.lateralColumnAlias.enableImplicitResolution op false.

Nieuwe forEachBatch-functie

Photon wordt nu ondersteund bij het foreachBatch schrijven naar een gegevenssink.

Gestandaardiseerde Verbinding maken ionopties voor queryfederatie

U kunt nu een geïntegreerde set opties (host, poort, database, gebruiker, wachtwoord) gebruiken om verbinding te maken met gegevensbronnen die worden ondersteund in queryfederatie. Port is optioneel en gebruikt het standaardpoortnummer voor elke gegevensbron, tenzij opgegeven.

Uitgebreide SQL-functiebibliotheek voor matrixbeheer

U kunt nu alle NULL-elementen uit een matrix verwijderen met behulp van array_compact. Als u elementen wilt toevoegen aan een matrix, gebruikt u array_append.

Nieuwe maskerfunctie voor het anoniem maken van tekenreeksen

Roep de maskerfunctie aan om gevoelige tekenreekswaarden anoniem te maken.

Veelvoorkomende foutvoorwaarden retourneren nu SQLSTATEs

De meeste foutvoorwaarden die Databricks Runtime nu bevatten gedocumenteerde SQLSTATE-waarden die kunnen worden gebruikt om te testen op fouten op een conforme SQL-standaardmethode.

Generatorfuncties aanroepen in de FROM-component

U kunt nu generatorfuncties met tabelwaarden aanroepen, zoals exploderen in de reguliere FROM component van een query. Hiermee wordt de aanroep van generatorfuncties uitgelijnd met andere ingebouwde en door de gebruiker gedefinieerde tabelfuncties.

Ondersteuning voor protocolbuffers is algemeen beschikbaar

U kunt de from_protobuf en to_protobuf functies gebruiken om gegevens uit te wisselen tussen binaire en structtypen. Zie Buffers voor lees- en schrijfprotocollen.

Bugfixes

  • Verbeterde consistentie voor Delta-doorvoergedrag voor lege transacties met betrekking tot update, deleteen merge opdrachten. In WriteSerializable isolatieniveau maken opdrachten die resulteren in geen wijzigingen, nu een lege doorvoering. In een Serializable isolatieniveau maken dergelijke lege transacties nu geen doorvoer.

Gedragswijzigingen

Gedrag wordt gewijzigd met de nieuwe functie voor laterale kolomalias

De nieuwe functie voor laterale kolomalias introduceert gedragswijzigingen voor de volgende gevallen tijdens de naamomzetting:

  • Laterale kolomalias heeft nu voorrang op gecorreleerde verwijzingen met dezelfde naam. Voor deze query is de c1 binnenste c1 AS c2 bijvoorbeeld omgezet in de gecorreleerde verwijzingt.c1, maar wordt nu gewijzigd in laterale kolomalias1 AS c1.SELECT (SELECT c2 FROM (SELECT 1 AS c1, c1 AS c2) WHERE c2 > 5) FROM VALUES(6) AS t(c1) De query retourneert NULLnu .
  • De laterale kolomalias heeft nu voorrang op functieparameters met dezelfde naam. Voor de functie is CREATE OR REPLACE TEMPORARY FUNCTION func(x INT) RETURNS TABLE (a INT, b INT, c DOUBLE) RETURN SELECT x + 1 AS x, xde x hoofdtekst van de functie bijvoorbeeld omgezet in de functieparameter x, maar verandert in de laterale kolomalias x + 1 in de hoofdtekst van de functie. De query wordt SELECT * FROM func(1) nu geretourneerd 2, 2.
  • Als u de functie voor de laterale kolomalias wilt uitschakelen, stelt u deze in spark.sql.lateralColumnAlias.enableImplicitResolution op false. Zie Naamomzetting voor meer informatie.

Bibliotheekupgrades

  • Bijgewerkte Python-bibliotheken:
    • filelock van 3.8.2 tot 3.9.0
    • joblib van 1.1.0 tot 1.1.1
    • platformdirs van 2.6.0 tot 2.6.2
    • whatthepatch van 1.0.3 tot 1.0.4
  • Bijgewerkte R-bibliotheken:
    • klasse van 7.3-20 tot 7.3-21
    • codetools van 0,2-18 tot 0,2-19
    • MASSA van 7,3-58 tot 7,3-58.2
    • nlme van 3.1-160 tot 3.1-162
    • Rserve van 1,8-11 tot 1,8-12
    • SparkR van 3.3.1 tot 3.3.2

Gedragswijzigingen

  • Gebruikers moeten nu over een bestand beschikken en MODIFY bevoegdheden hebben SELECT bij het maken van een schema met een gedefinieerde locatie.

Apache Spark

Databricks Runtime 12.2 bevat Apache Spark 3.3.2. Deze release bevat alle Spark-fixes en verbeteringen die zijn opgenomen in Databricks Runtime 12.1 (niet ondersteund), evenals de volgende aanvullende bugfixes en verbeteringen in Spark:

  • [SPARK-42416] [SC-123205] [SC-122851] [SQL] Datumsetbewerkingen moeten het geanalyseerde logische plan niet opnieuw oplossen
  • [SPARK-41848] "[CHERRY-PICK][12.x][12.1][12.0][SC-120037][CORE] Taak over-gepland herstellen met TaskResourceProfile"
  • [SPARK-42162] [SC-122711] [ES-556261] MultiCommutativeOp-expressie introduceren als geheugenoptimalisatie voor het canonicaliseren van grote structuren van commutatieve expressies
  • [SPARK-42406] [SC-122998] [PROTOBUF] [Cherry-pick] Recursieve diepte-instelling herstellen voor Protobuf-functies
  • [SPARK-42002] [SC-122476] [VERBINDING MAKEN] [PYTHON] DataFrameWriterV2 implementeren
  • [SPARK-41716] [SC-122545] [VERBINDING MAKEN] Naam van _catalog_to_pandas wijzigen in _execute_and_fetch in Catalogus
  • [SPARK-41490] [SC-121774] [SQL] Naam toewijzen aan _LEGACY_ERROR_TEMP_2441
  • [SPARK-41600] [SC-122538] [SPARK-41623] [SPARK-41612] [VERBINDING MAKEN] Catalog.cacheTable implementeren, isCached en uncache
  • [SPARK-42191] [SC-121990] [SQL] Ondersteuning voor udf 'luhn_check'
  • [SPARK-42253] [SC-121976] [PYTHON] Test toevoegen voor het detecteren van gedupliceerde foutklasse
  • [SPARK-42268] [SC-122251] [VERBINDING MAKEN] [PYTHON] UserDefinedType toevoegen in protos
  • [SPARK-42231] [SC-121841] [SQL] Veranderen MISSING_STATIC_PARTITION_COLUMN in internalError
  • [SPARK-42136] [SC-122554] Partitioneringsberekening broadcastHashJoinExec-uitvoer herstructureren
  • [SPARK-42158] [SC-121610] [SQL] Integreren _LEGACY_ERROR_TEMP_1003 in FIELD_NOT_FOUND
  • [SPARK-42192] [12.x] [SC-121820] [PYTHON] De TypeError migreren van pyspark/sql/dataframe.py naar PySparkTypeError
  • [SPARK-35240] [SC-118242][SS] Gebruik CheckpointFileManager ...
  • [SPARK-41488] [SC-121858] [SQL] Naam toewijzen aan _LEGACY_ERROR_TEMP_1176 (en 1177)
  • [SPARK-42232] [SC-122267] [SQL] Naam van foutklasse wijzigen: UNSUPPORTED_FEATURE.JDBC_TRANSACTION
  • [SPARK-42346] [SC-122480] [SQL] Afzonderlijke aggregaties herschrijven na samenvoegen van subquery
  • [SPARK-42306] [SC-122539] [SQL] Integreren _LEGACY_ERROR_TEMP_1317 in UNRESOLVED_COLUMN.WITH_SUGGESTION
  • [SPARK-42234] [SC-122354] [SQL] Naam van foutklasse wijzigen: UNSUPPORTED_FEATURE.REPEATED_PIVOT
  • [SPARK-42343] [SC-122437] [CORE] Negeren IOException als handleBlockRemovalFailure SparkContext is gestopt
  • [SPARK-41295] [SC-122442] [SPARK-41296] [SQL] De naam van de foutklassen wijzigen
  • [SPARK-42320] [SC-122478] [SQL] Naam toewijzen aan _LEGACY_ERROR_TEMP_2188
  • [SPARK-42255] [SC-122483] [SQL] Naam toewijzen aan _LEGACY_ERROR_TEMP_2430
  • [SPARK-42156] [SC-121851] [VERBINDING MAKEN] Spark Verbinding maken Client ondersteunt nu RetryPolicies
  • [SPARK-38728] [SC-116723] [SQL] De foutklasse testen: FAILED_RENAME_PATH
  • [SPARK-40005] [12.X] Zelfstandige voorbeelden in PySpark
  • [SPARK-39347] [SC-122457] [SS] Opgeloste fout voor tijdvensterberekening wanneer gebeurtenistijd < 0
  • [SPARK-42336] [SC-122458] [CORE] Gebruiken getOrElse() in plaats van contains() in ResourceAllocator
  • [SPARK-42125] [SC-121827] [VERBINDING MAKEN] [PYTHON] Pandas UDF in Spark-Verbinding maken
  • [SPARK-42217] [SC-122263] [SQL] Ondersteuning voor impliciete laterale kolomalias in query's met Window
  • [SPARK-35240] [SC-118242] [SS] CheckpointFileManager gebruiken voor het bewerken van controlepuntenbestanden
  • [SPARK-42294] [SC-122337] [SQL] Kolomstandaardwaarden opnemen in DESCRIBE-uitvoer voor V2-tabellen
  • [SPARK-41979] Herstel '[12.x][SC-121190][SQL] Ontbrekende punten toevoegen voor foutberichten in foutklassen'.
  • [SPARK-42286] [SC-122336] [SQL] Terugval naar het vorige codegen-codepad voor complexe expr met CAST
  • [SPARK-42275] [SC-122249] [VERBINDING MAKEN] [PYTHON] Vermijd het gebruik van ingebouwde lijst, dicteren in statisch typen
  • [SPARK-41985] [SC-122172] [SQL] Meer regels voor kolomomzetting centraliseren
  • [SPARK-42126] [SC-122330] [PYTHON] [VERBINDING MAKEN] Retourtype accepteren in DDL-tekenreeksen voor Python Scalar UDF's in Spark Verbinding maken
  • [SPARK-42197] [SC-122328] [SC-121514] [VERBINDING MAKEN] Gebruikt JVM-initialisatie en afzonderlijke configuratiegroepen om in de lokale modus op afstand in te stellen
  • [SPARK-41575] [SC-120118] [SQL] Naam toewijzen aan _LEGACY_ERROR_TEMP_2054
  • [SPARK-41985] '[SC-122172][SQL] Centraliseer meer regels voor kolomomzetting'
  • [SPARK-42123] [SC-122234] [SC-121453] [SQL] Kolomstandaardwaarden opnemen in DE uitvoer DESCRIBE en SHOW CREATE TABLE
  • [SPARK-41985] [SC-122172] [SQL] Meer regels voor kolomomzetting centraliseren
  • [SPARK-42284] [SC-122233] [VERBINDING MAKEN] Zorg ervoor dat de serverassembly is gemaakt voordat u clienttests uitvoert - SBT
  • [SPARK-42239] [SC-121790] [SQL] Integreren MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
  • [SPARK-42278] [SC-122170] [SQL] DS V2-pushdown ondersteunt zelf het compileren SortOrder van JDBC-dialecten
  • [SPARK-42259] [SC-122168] [SQL] ResolveGroupingAnalytics moet zorgen voor Python UDAF
  • [SPARK-41979] Herstel [12.x][SC-121190][SQL] Ontbrekende punten toevoegen voor foutberichten in foutklassen.
  • [SPARK-42224] [12.x] [SC-121708] [VERBINDING MAKEN] TypeError migreren naar foutframework voor Spark-Verbinding maken-functies
  • [SPARK-41712] [12.x] [SC-121189] [PYTHON] [VERBINDING MAKEN] Migreer de Spark-Verbinding maken-fouten naar het PySpark-foutframework.
  • [SPARK-42119] [SC-121913] [SC-121342] [SQL] Ingebouwde tabelwaardefuncties inline en inline_outer toevoegen
  • [SPARK-41489] [SC-121713] [SQL] Naam toewijzen aan _LEGACY_ERROR_TEMP_2415
  • [SPARK-42082] [12.x] [SC-121163] [SPARK-41598] [PYTHON] [VERBINDING MAKEN] PySparkValueError en PySparkTypeError introduceren
  • [SPARK-42081] [SC-121723] [SQL] De validatie van planwijziging verbeteren
  • [SPARK-42225] [12.x] [SC-121714] [VERBINDING MAKEN] Voeg Spark Verbinding maken IllegalArgumentException toe om spark-Verbinding maken fout nauwkeurig af te handelen.
  • [SPARK-42044] [12.x] [SC-121280] [SQL] Onjuist foutbericht opgelost voor MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
  • [SPARK-42194] [12.x] [SC-121712] [PS] Kolomparameter toestaan bij het maken van DataFrame met reeks.
  • [SPARK-42078] [12.x] [SC-120761] [PYTHON] Migreer fouten die door JVM worden gegenereerd naar PySparkException.
  • [SPARK-42133] [12.x] [SC-121250] Eenvoudige API-methoden voor gegevenssets toevoegen aan Spark Verbinding maken Scala-client
  • [SPARK-41979] [12.x] [SC-121190] [SQL] Voeg ontbrekende punten toe voor foutberichten in foutklassen.
  • [SPARK-42124] [12.x] [SC-121420] [PYTHON] [VERBINDING MAKEN] Scalar Inline Python UDF in Spark Verbinding maken
  • [SPARK-42051] [SC-121994] [SQL] Codegen-ondersteuning voor HiveGenericUDF
  • [SPARK-42257] [SC-121948] [CORE] Niet-gebruikte variabele externe sorter verwijderen
  • [SPARK-41735] [SC-121771] [SQL] GEBRUIK MINIMAAL in plaats van STANDARD voor SparkListenerSQLExecutionEnd
  • [SPARK-42236] [SC-121882] [SQL] Verfijnen NULLABLE_ARRAY_OR_MAP_ELEMENT
  • [SPARK-42233] [SC-121775] [SQL] Foutbericht voor verbeteren voor PIVOT_AFTER_GROUP_BY
  • [SPARK-42229] [SC-121856] [CORE] Migreren SparkCoreErrors naar foutklassen
  • [SPARK-42163] [SC-121839] [SQL] Schema's verwijderen voor niet-vouwbare matrixindex of kaartsleutel herstellen
  • [SPARK-40711] [SC-119990] [SQL] Metrische gegevens overloopgrootte toevoegen voor venster
  • [SPARK-42023] [SC-121847] [SPARK-42024] [VERBINDING MAKEN] [PYTHON] AtomicType -> StringType Ondersteunings coercion maken createDataFrame
  • [SPARK-42202] [SC-121837] [Verbinding maken][Test] De E2E-testserverstoplogica verbeteren
  • [SPARK-41167] [SC-117425] [SQL] Meerdere achtige prestaties verbeteren door een evenwichtig predicaat voor expressiestructuur te maken
  • [SPARK-41931] [SC-121618] [SQL] Beter foutbericht voor onvolledige complexe typedefinitie
  • [SPARK-36124] [SC-121339] [SC-110446] [SQL] Ondersteuning voor subquery's met correlatie via UNION
  • [SPARK-42090] [SC-121290] [3.3] Introductie van sasl-aantal nieuwe pogingen in RetryingBlockTransferor
  • [SPARK-42157] [SC-121264] [CORE] spark.scheduler.mode=FAIR moet fair scheduler bieden
  • [SPARK-41572] [SC-120772] [SQL] Naam toewijzen aan _LEGACY_ERROR_TEMP_2149
  • [SPARK-41983] [SC-121224] [SQL] Foutbericht naam wijzigen en verbeteren voor NULL_COMPARISON_RESULT
  • [SPARK-41976] [SC-121024] [SQL] Foutbericht voor verbeteren voor INDEX_NOT_FOUND
  • [SPARK-41994] [SC-121210] [SC-120573] SQLSTATE's toewijzen (1/2)
  • [SPARK-41415] [SC-121117] [3.3] Nieuwe pogingen voor SASL-aanvragen
  • [SPARK-38591] [SC-121018] [SQL] FlatMapSortedGroups en cogroupSorted toevoegen
  • [SPARK-41975] [SC-120767] [SQL] Foutbericht voor verbeteren voor INDEX_ALREADY_EXISTS
  • [SPARK-42056] [SC-121158] [SQL] [PROTOBUF] Ontbrekende opties voor Protobuf-functies toevoegen
  • [SPARK-41984] [SC-120769] [SQL] Foutbericht naam wijzigen en verbeteren voor RESET_PERMISSION_TO_ORIGINAL
  • [SPARK-41948] [SC-121196] [SQL] NPE herstellen voor foutklassen: CANNOT_PARSE_JSON_FIELD
  • [SPARK-41772] [SC-121176] [VERBINDING MAKEN] [PYTHON] Onjuiste kolomnaam in withFielddoctest herstellen
  • [SPARK-41283] [SC-121175] [VERBINDING MAKEN] [PYTHON] Toevoegen array_append aan Verbinding maken
  • [SPARK-41960] [SC-120773] [SQL] Naam toewijzen aan _LEGACY_ERROR_TEMP_1056
  • [SPARK-42134] [SC-121116] [SQL] Probleem opgelost met getPartitionFiltersAndDataFilters() voor het verwerken van filters zonder kenmerken waarnaar wordt verwezen
  • [SPARK-42096] [SC-121012] [VERBINDING MAKEN] Sommige codeopruiming voor connect module
  • [SPARK-42099] [SC-121114] [SPARK-41845] [VERBINDING MAKEN] [PYTHON] Oplossing count(*) en count(col(*))
  • [SPARK-42045] [SC-120958] [SC-120450] [SQL] ANSI SQL-modus: Round/Bround moet een fout retourneren bij een overloop van gehele getallen
  • [SPARK-42043] [SC-120968] [VERBINDING MAKEN] Scala-clientresultaat met E2E-tests
  • [SPARK-41884] [SC-121022] [VERBINDING MAKEN] Ondersteuning voor naïve tuple als geneste rij
  • [SPARK-42112] [SC-121011] [SQL] [SS] Null-controle toevoegen voordat ContinuousWriteRDD#compute de functie wordt gesloten dataWriter
  • [SPARK-42077] [SC-120553] [VERBINDING MAKEN] [PYTHON] Letterlijk moet TypeError voor niet-ondersteund DataType gooien
  • [SPARK-42108] [SC-120898] [SQL] Analyse transformeren Count(*) in Count(1)
  • [SPARK-41666] [SC-120928] [SC-119009] [PYTHON] Ondersteuning voor geparameteriseerde SQL by sql()
  • [SPARK-40599] [SC-120930] [SQL] Ontspan multiTransform-regeltype om alternatieven toe te staan om elk type Seq te zijn
  • [SPARK-41574] [SC-120771] [SQL] Bijwerken _LEGACY_ERROR_TEMP_2009 als INTERNAL_ERROR.
  • [SPARK-41579] [SC-120770] [SQL] Naam toewijzen aan _LEGACY_ERROR_TEMP_1249
  • [SPARK-41974] [SC-120766] [SQL] Veranderen INCORRECT_END_OFFSET in INTERNAL_ERROR
  • [SPARK-41530] [SC-120916] [SC-118513] [CORE] De naam van MedianHeap wijzigen in PercentileMap en het percentiel ondersteunen
  • [SPARK-41757] [SC-120608] [SPARK-41901] [VERBINDING MAKEN] Tekenreeksweergave voor kolomklasse herstellen
  • [SPARK-42084] [SC-120775] [SQL] Vermijd het lekken van de beperking alleen-gekwalificeerde toegang
  • [SPARK-41973] [SC-120765] [SQL] Naam toewijzen aan _LEGACY_ERROR_TEMP_1311
  • [SPARK-42039] [SC-120655] [SQL] SPJ: Optie verwijderen in KeyGroupedPartitioning#partitionValuesOpt
  • [SPARK-42079] [SC-120712] [VERBINDING MAKEN] [PYTHON] Naam van protoberichten wijzigen voor toDF en withColumnsRenamed
  • [SPARK-42089] [SC-120605] [VERBINDING MAKEN] [PYTHON] Problemen met variabelenamen in geneste lambda-functies oplossen
  • [SPARK-41982] [SC-120604] [SQL] Partities van het type tekenreeks mogen niet worden behandeld als numerieke typen
  • [SPARK-40599] [SC-120620] [SQL] MultiTransform-methoden toevoegen aan TreeNode om alternatieven te genereren
  • [SPARK-42085] [SC-120556] [VERBINDING MAKEN] [PYTHON] Ondersteuning from_arrow_schema bieden voor geneste typen
  • [SPARK-42057] [SC-120507] [SQL] [PROTOBUF] Los op hoe uitzondering wordt verwerkt in foutrapportage.
  • [SPARK-41586] [12.x] [ALLE TESTS] [SC-120544] [PYTHON] Introduceer pyspark.errors en foutklassen voor PySpark.
  • [SPARK-41903] [SC-120543] [VERBINDING MAKEN] [PYTHON] Literal moet 1-dim ndarray ondersteunen
  • [SPARK-42021] [SC-120584] [VERBINDING MAKEN] [PYTHON] Ondersteuning maken createDataFramearray.array
  • [SPARK-41896] [SC-120506] [SQL] Filteren op rijindex retourneert lege resultaten
  • [SPARK-41162] [SC-119742] [SQL] Anti- en semi-join corrigeren voor self-join met aggregaties
  • [SPARK-41961] [SC-120501] [SQL] Ondersteuning voor tabelwaardefuncties met LATERAL
  • [SPARK-41752] [SC-120550] [SQL] [UI] Geneste uitvoeringen onder de hoofduitvoering groeperen
  • [SPARK-42047] [SC-120586] [SPARK-41900] [VERBINDING MAKEN] [PYTHON] [12.X] Letterlijke gegevenstypen moeten Ondersteuning bieden voor Numpy-gegevenstypen
  • [SPARK-42028] [SC-120344] [VERBINDING MAKEN] [PYTHON] Tijdstempel van nanoseconden afkappen
  • [SPARK-42011] [SC-120534] [VERBINDING MAKEN] [PYTHON] DataFrameReader.csv implementeren
  • [SPARK-41990] [SC-120532] [SQL] Gebruiken FieldReference.column in plaats van apply in V1 naar V2-filterconversie
  • [SPARK-39217] [SC-120446] [SQL] DPP ondersteunt de snoeizijde union
  • [SPARK-42076] [SC-120551] [VERBINDING MAKEN] [PYTHON] Factor-gegevensconversie arrow -> rows naar conversion.py
  • [SPARK-42074] [SC-120540] [SQL] Inschakelen KryoSerializerTPCDSQueryBenchmark om REGISTRATIE van SQL-klassen af te dwingen
  • [SPARK-42012] [SC-120517] [VERBINDING MAKEN] [PYTHON] DataFrameReader.orc implementeren
  • [SPARK-41832] [SC-120513] [VERBINDING MAKEN] [PYTHON] Oplossing DataFrame.unionByName, allow_missing_columns toevoegen
  • [SPARK-38651] [SC-120514] [SQL] Toevoegen spark.sql.legacy.allowEmptySchemaWrite
  • [SPARK-41991] [SC-120406] [SQL] CheckOverflowInTableInsert moet ExpressionProxy accepteren als onderliggend item
  • [SPARK-41232] [SC-120073] [SQL] [PYTHON] Functie array_append toevoegen
  • [SPARK-42041] [SC-120512] [SPARK-42013] [VERBINDING MAKEN] [PYTHON] DataFrameReader moet een lijst met paden ondersteunen
  • [SPARK-42071] [SC-120533] [CORE] Registreren bij scala.math.Ordering$Reverse KyroSerializer
  • [SPARK-41986] [SC-120429] [SQL] Shuffle introduceren bij SinglePartition
  • [SPARK-42016] [SC-120428] [VERBINDING MAKEN] [PYTHON] Tests inschakelen die betrekking hebben op de geneste kolom
  • [SPARK-42042] [SC-120427] [VERBINDING MAKEN] [PYTHON] DataFrameReader moet het StructType-schema ondersteunen
  • [SPARK-42031] [SC-120389] [CORE] [SQL] Methoden opschonen remove die niet hoeven te worden overschreven
  • [SPARK-41746] [SC-120463] [SPARK-41838] [SPARK-41837] [SPARK-41835] [SPARK-41836] [SPARK-41847] [VERBINDING MAKEN] [PYTHON] Ondersteuning createDataFrame(rows/lists/tuples/dicts) bieden voor geneste typen
  • [SPARK-41437] [SC-117601] [SQL] [ALLE TESTS] De invoerquery niet twee keer optimaliseren voor terugval van v1-schrijfbewerking
  • [SPARK-41840] [SC-119719] [VERBINDING MAKEN] [PYTHON] De ontbrekende alias toevoegen groupby
  • [SPARK-41846] [SC-119717] [VERBINDING MAKEN] [PYTHON] Doctests inschakelen voor vensterfuncties
  • [SPARK-41914] [SC-120094] [SQL] FileFormatWriter materialiseert het AQE-plan voordat u de outputOrdering opent
  • [SPARK-41805] [SC-119992] [SQL] Expressies opnieuw gebruiken in WindowSpecDefinition
  • [SPARK-41977] [SC-120269] [SPARK-41978] [VERBINDING MAKEN] SparkSession.range om te zweven als argumenten
  • [SPARK-42029] [SC-120336] [VERBINDING MAKEN] Guava Arceringsregels toevoegen om opstartfouten te connect-common voorkomen
  • [SPARK-41989] [SC-120334] [PYTHON] Voorkom dat de configuratie van logboekregistratie van pyspark.pandas wordt onderbroken
  • [SPARK-42003] [SC-120331] [SQL] Dubbele code verminderen in ResolveGroupByAll
  • [SPARK-41635] [SC-120313] [SQL] Groeperen op alle foutenrapportage oplossen
  • [SPARK-41047] [SC-120291] [SQL] Documenten verbeteren voor ronde
  • [SPARK-41822] [SC-120122] [VERBINDING MAKEN] GRPC-verbinding instellen voor Scala/JVM-client
  • [SPARK-41879] [SC-120264] [VERBINDING MAKEN] [PYTHON] Ondersteuning DataFrame.collect bieden voor geneste typen
  • [SPARK-41887] [SC-120268] [VERBINDING MAKEN] [PYTHON] Parameter voor lijsttype accepteren maken DataFrame.hint
  • [SPARK-41964] [SC-120210] [VERBINDING MAKEN] [PYTHON] De lijst met niet-ondersteunde IO-functies toevoegen
  • [SPARK-41595] [SC-120097] [SQL] De generatorfunctie explodeert/explode_outer in de FROM-component
  • [SPARK-41957] [SC-120121] [VERBINDING MAKEN] [PYTHON] De doctest inschakelen voor DataFrame.hint
  • [SPARK-41886] [SC-120141] [VERBINDING MAKEN] [PYTHON] DataFrame.intersect doctest-uitvoer heeft een andere volgorde
  • [SPARK-41442] [SC-117795] [SQL] [ALLE TESTS] Alleen SQLMetric-waarde bijwerken als u met geldige metrische gegevens samenvoegt
  • [SPARK-41944] [SC-120046] [VERBINDING MAKEN] Configuraties doorgeven wanneer de lokale externe modus is ingeschakeld
  • [SPARK-41708] [SC-119838] [SQL] Pull v1write information to WriteFiles
  • [SPARK-41780] [SC-120000] [SQL] Gooi INVALID_PARAMETER_VALUE. PATROON wanneer de parameters regexp ongeldig zijn
  • [SPARK-41889] [SC-119975] [SQL] Hoofdoorzaak koppelen aan invalidPatternError & foutklassen herstructureren INVALID_PARAMETER_VALUE
  • [SPARK-41860] [SC-120028] [SQL] Maak avroScanBuilder- en JsonScanBuilder-caseklassen
  • [SPARK-41945] [SC-120010] [VERBINDING MAKEN] [PYTHON] Python: verbinding maken tussen de verloren kolomgegevens van de client met pyarrow. Table.to_pylist
  • [SPARK-41690] [SC-119102] [SC-119087] [SQL] [VERBINDING MAKEN] Agnostische coderingsprogramma's
  • [SPARK-41354] [SC-119995] [VERBINDING MAKEN] [PYTHON] RepartitionByExpression implementeren
  • [SPARK-41581] [SC-119997] [SQL] Bijwerken _LEGACY_ERROR_TEMP_1230 als INTERNAL_ERROR
  • [SPARK-41928] [SC-119972] [VERBINDING MAKEN] [PYTHON] De niet-ondersteunde lijst toevoegen voor functions
  • [SPARK-41933] [SC-119980] [VERBINDING MAKEN] Lokale modus opgeven waarmee de server automatisch wordt gestart
  • [SPARK-41899] [SC-119971] [VERBINDING MAKEN] [PYTHON] createDataFrame' moet de door de gebruiker opgegeven DDL-schema respecteren
  • [SPARK-41936] [SC-119978] [VERBINDING MAKEN] [PYTHON] Het proto opnieuw gebruiken withMetadatawithColumns
  • [SPARK-41898] [SC-119931] [VERBINDING MAKEN] [PYTHON] Window.rowsBetween, Window.rangeBetween parameters typecheck parity with pyspark
  • [SPARK-41939] [SC-119977] [VERBINDING MAKEN] [PYTHON] De niet-ondersteunde lijst voor catalog functies toevoegen
  • [SPARK-41924] [SC-119946] [VERBINDING MAKEN] [PYTHON] StructType-ondersteuningsmetagegevens maken en implementeren DataFrame.withMetadata
  • [SPARK-41934] [SC-119967] [VERBINDING MAKEN] [PYTHON] De lijst met niet-ondersteunde functies toevoegen voor session
  • [SPARK-41875] [SC-119969] [VERBINDING MAKEN] [PYTHON] Testcases toevoegen voor Dataset.to()
  • [SPARK-41824] [SC-119970] [VERBINDING MAKEN] [PYTHON] Ingore de doctest voor uitleg over verbinding
  • [SPARK-41880] [SC-119959] [VERBINDING MAKEN] [PYTHON] from_json Functie accepteren niet-letterlijk schema
  • [SPARK-41927] [SC-119952] [VERBINDING MAKEN] [PYTHON] De niet-ondersteunde lijst toevoegen voor GroupedData
  • [SPARK-41929] [SC-119949] [VERBINDING MAKEN] [PYTHON] Functie toevoegen array_compact
  • [SPARK-41827] [SC-119841] [VERBINDING MAKEN] [PYTHON] Acceptatiekolomlijst GroupBy maken
  • [SPARK-41925] [SC-119905] [SQL] Standaard inschakelen spark.sql.orc.enableNestedColumnVectorizedReader
  • [SPARK-41831] [SC-119853] [VERBINDING MAKEN] [PYTHON] Acceptatiekolomlijst DataFrame.select maken
  • [SPARK-41455] [SC-119858] [VERBINDING MAKEN] [PYTHON] De DataFrame.collect tijdzonegegevens verwijderen
  • [SPARK-41923] [SC-119861] [VERBINDING MAKEN] [PYTHON] Toevoegen DataFrame.writeTo aan de niet-ondersteunde lijst
  • [SPARK-41912] [SC-119837] [SQL] CTE mag niet worden gevalideerd door subquery
  • [SPARK-41828] [SC-119832] [VERBINDING MAKEN] [PYTHON] [12.X] Ondersteuning voor een leeg dataframe maken createDataFrame
  • [SPARK-41905] [SC-119848] [VERBINDING MAKEN] Ondersteuningsnaam als tekenreeksen in segment
  • [SPARK-41869] [SC-119845] [VERBINDING MAKEN] Eén tekenreeks weigeren in dropDuplicates
  • [SPARK-41830] [SC-119840] [VERBINDING MAKEN] [PYTHON] Accepteer DataFrame.sample dezelfde parameters als PySpark
  • [SPARK-41849] [SC-119835] [VERBINDING MAKEN] DataFrameReader.text implementeren
  • [SPARK-41861] [SC-119834] [SQL] De build() van v2 ScanBuilders maken van een scan die is getypt
  • [SPARK-41825] [SC-119710] [VERBINDING MAKEN] [PYTHON] Doctests inschakelen met betrekking tot DataFrame.show
  • [SPARK-41855] [SC-119804] [SC-119410] [SPARK-41814] [SPARK-41851] [SPARK-41852] [VERBINDING MAKEN] [PYTHON] [12.X] Handgreep Geen/NaN correct maken createDataFrame
  • [SPARK-41833] [SC-119685] [SPARK-41881] [SPARK-41815] [VERBINDING MAKEN] [PYTHON] Handgreep DataFrame.collect Geen/NaN/Matrix/Binair porperly maken
  • [SPARK-39318] [SC-119713] [SQL] tpch-plan-stabiliteit MetStats gouden bestanden verwijderen
  • [SPARK-41791] [SC-119745] Nieuwe kolomtypen voor metagegevens van bestandsbron toevoegen
  • [SPARK-41790] [SC-119729] [SQL] De indeling VAN TRANSFORM-lezer en schrijver correct instellen
  • [SPARK-41829] [SC-119725] [VERBINDING MAKEN] [PYTHON] Voeg de ontbrekende orderparameter toe in Sort en sortWithinPartitions
  • [SPARK-41576] [SC-119718] [SQL] Naam toewijzen aan _LEGACY_ERROR_TEMP_2051
  • [SPARK-41821] [SC-119716] [VERBINDING MAKEN] [PYTHON] Doc-test voor DataFrame.describe herstellen
  • [SPARK-41871] [SC-119714] [VERBINDING MAKEN] De hintparameter dataframe kan str, float of int zijn
  • [SPARK-41720] [SC-119076] [SQL] Naam van UnresolvedFunc wijzigen in UnresolvedFunctionName
  • [SPARK-41573] [SC-119567] [SQL] Naam toewijzen aan _LEGACY_ERROR_TEMP_2136
  • [SPARK-41862] [SC-119492] [SQL] Correctiefout met betrekking tot STANDAARDwaarden in Orc-lezer oplossen
  • [SPARK-41582] [SC-119482] [SC-118701] [CORE] [SQL] Opnieuw gebruiken INVALID_TYPED_LITERAL in plaats van _LEGACY_ERROR_TEMP_0022

Onderhoudsupdates

Zie onderhoudsupdates voor Databricks Runtime 12.2.

Systeemomgeving

  • Besturingssysteem: Ubuntu 20.04.5 LTS
  • Java: Zulu 8.68.0.21-CA-linux64
  • Scala: 2.12.15
  • Python: 3.9.5
  • R: 4.2.2
  • Delta Lake: 2.2.0

Geïnstalleerde Python-bibliotheken

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
argon2-cffi 21.3.0 argon2-cffi-bindingen 21.2.0 asttokens 2.0.5
attrs 21.4.0 backcall 0.2.0 backports.entry-points-selectable 1.2.0
beautifulsoup4 4.11.1 zwart 22.3.0 Bleekmiddel 4.1.0
boto3 1.21.32 botocore 1.24.32 certifi 2021.10.8
Cffi 1.15.0 Chardet 4.0.0 charset-normalizer 2.0.4
klikken 8.0.4 Cryptografie 3.4.8 cycler 0.11.0
Cython 0.29.28 dbus-python 1.2.16 foutopsporing 1.5.1
Decorator 5.1.1 defusedxml 0.7.1 distlib 0.3.6
docstring-to-markdown 0,11 invoerpunten 0,4 Uitvoeren 0.8.3
facets-overview 1.0.0 fastjsonschema 2.16.2 filelock 3.9.0
Fonttools 4.25.0 idna 3.3 ipykernel 6.15.3
Ipython 8.5.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
Jedi 0.18.1 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.1.1 jsonschema 4.4.0 jupyter-client 6.1.12
jupyter_core 4.11.2 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
kiwisolver 1.3.2 MarkupSafe 2.0.1 matplotlib 3.5.1
matplotlib-inline 0.1.2 Mccabe 0.7.0 mistune 0.8.4
mypy-extensions 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.3.0 nest-asyncio 1.5.5 nodeenv 1.7.0
notebook 6.4.8 Numpy 1.21.5 Verpakking 21.3
Pandas 1.4.2 pandocfilters 1.5.0 parso 0.8.3
pathspec 0.9.0 Patsy 0.5.2 Pexpect 4.8.0
pickleshare 0.7.5 Kussen 9.0.1 Pip 21.2.4
platformdirs 2.6.2 plotly 5.6.0 pluggy 1.0.0
prometheus-client 0.13.1 prompt-toolkit 3.0.20 protobuf 3.19.4
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 7.0.0 pycparser 2.21
Pyflakes 2.5.0 Pygments 2.11.2 Pygobject 3.36.0
pyodbc 4.0.32 Pyparsing 3.0.4 pyright 1.1.283
pyrsistent 0.18.0 python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0
python-lsp-server 1.6.0 pytz 2021.3 pyzmq 22.3.0
requests 2.27.1 requests-unixsocket 0.2.0 Touw 0.22.0
s3transfer 0.5.0 scikit-learn 1.0.2 Scipy 1.7.3
seaborn 0.11.2 Send2Trash 1.8.0 Setuptools 61.2.0
Zes 1.16.0 soepsieve 2.3.1 ssh-import-id 5.10
stack-data 0.2.0 statsmodels 0.13.2 Vasthoudendheid 8.0.1
terminado 0.13.1 testpath 0.5.0 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tomli 1.2.2 Tornado 6.1
traitlets 5.1.1 typing_extensions 4.1.1 ujson 5.1.0
upgrades zonder toezicht 0,1 urllib3 1.26.9 Virtualenv 20.8.0
wcwidth 0.2.5 webencodings 0.5.1 whatthepatch 1.0.4
Wiel 0.37.0 widgetsnbextension 3.6.1 yapf 0.31.0

Geïnstalleerde R-bibliotheken

R-bibliotheken worden geïnstalleerd vanuit de Microsoft CRAN-momentopname op 2022-11-11.

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
pijl 10.0.0 Askpass 1.1 assertthat 0.2.1
Backports 1.4.1 base 4.2.2 base64enc 0.1-3
bit 4.0.4 bit64 4.0.5 blob 1.2.3
opstarten 1.3-28 Brouwsel 1.0-8 Brio 1.1.3
Bezem 1.0.1 bslib 0.4.1 cachem 1.0.6
beller 3.7.3 caret 6.0-93 cellranger 1.1.0
Chron 2.3-58 class 7.3-21 cli 3.4.1
clipr 0.8.0 Klok 0.6.1 cluster 2.1.4
Codetools 0.2-19 Colorspace 2.0-3 commonmark 1.8.1
Compiler 4.2.2 configuratie 0.3.1 cpp11 0.4.3
Crayon 1.5.2 aanmeldingsgegevens 1.3.2 curl 4.3.3
data.table 1.14.4 gegevenssets 4.2.2 DBI 1.1.3
dbplyr 2.2.1 Desc 1.4.2 Devtools 2.4.5
diffobj 0.3.5 Digest 0.6.30 downlit 0.4.2
dplyr 1.0.10 dtplyr 1.2.2 e1071 1.7-12
ellipsis 0.3.2 evaluate 0,18 fansi 1.0.3
farver 2.1.1 fastmap 1.1.0 fontawesome 0.4.0
forcats 0.5.2 foreach 1.5.2 Buitenlandse 0.8-82
Forge 0.2.0 Fs 1.5.2 Toekomst 1.29.0
future.apply 1.10.0 Gorgelen 1.2.1 Generics 0.1.3
Gert 1.9.1 ggplot2 3.4.0 Gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-4 Globals 0.16.1
Lijm 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
Gower 1.0.0 afbeeldingen 4.2.2 grDevices 4.2.2
Raster 4.2.2 gridExtra 2.3 gsubfn 0,7
gtable 0.3.1 hardhat 1.2.0 haven 2.5.1
highr 0,9 Hms 1.1.2 htmltools 0.5.3
htmlwidgets 1.5.4 httpuv 1.6.6 httr 1.4.4
ids 1.0.1 Ini 0.3.1 Ipred 0.9-13
isoband 0.2.6 Iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.3 Kernsmooth 2.23-20 breiwerk 1,40
Labeling 0.4.2 Later 1.3.0 Lattice 0.20-45
lava 1.7.0 levenscyclus 1.0.3 listenv 0.8.0
lubridate 1.9.0 magrittr 2.0.3 Markdown 1.3
MASS 7.3-58.2 Matrix 1.5-1 memoise 2.0.1
methoden 4.2.2 Mgcv 1.8-41 Mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modeller 0.1.9
munsell 0.5.0 Nlme 3.1-162 Nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.4 parallel 4.2.2
parallel 1.32.1 Pijler 1.8.1 pkgbuild 1.3.1
Pkgconfig 2.0.3 pkgdown 2.0.6 pkgload 1.3.1
plogr 0.2.0 plyr 1.8.7 Lof 1.0.0
prettyunits 1.1.1 Proc 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 Voortgang 1.2.2
progressr 0.11.0 Beloften 1.2.0.1 Proto 1.0.0
Proxy 0.4-27 ps 1.7.2 Purrr 0.3.5
r2d3 0.2.6 R6 2.5.1 ragg 1.2.4
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
Rcolorbrewer 1.1-3 Rcpp 1.0.9 RcppEigen 0.3.3.9.3
leesbewerking 2.1.3 readxl 1.4.1 recepten 1.0.3
Rematch 1.0.1 opnieuw overeenkomen2 2.1.2 Afstandsbedieningen 2.4.2
reprex 2.0.2 hervorm2 1.4.4 rlang 1.0.6
rmarkdown 2.18 RODBC 1.3-19 roxygen2 7.2.1
Rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.18 rstudioapi 0,14 rversions 2.1.2
rvest 1.0.3 Sass 0.4.2 Schalen 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 Vorm 1.4.6
Glanzende 1.7.3 sourcetools 0.1.7 sparklyr 1.7.8
SparkR 3.3.2 Ruimtelijke 7.3-11 Splines 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 Stats 4.2.2
stats4 4.2.2 stringi 1.7.8 stringr 1.4.1
Overleving 3.4-0 sys 3.4.1 systemfonts 1.0.4
Tcltk 4.2.2 testthat 3.1.5 tekstvorm 0.3.6
tibble 3.1.8 tidyr 1.2.1 tidyselect 1.2.0
tidyverse 1.3.2 timechange 0.1.1 Timedate 4021.106
tinytex 0.42 tools 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.2
utils 4.2.2 uuid 1.1-0 vctrs 0.5.0
viridisLite 0.4.1 Vroom 1.6.0 Waldo 0.4.0
whisker 0,4 withr 2.5.0 xfun 0.34
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
Yaml 2.3.6 Zip 2.2.2

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)

Groeps-id Artefact-id Versie
Antlr Antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics Stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-gearceerd 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Klasgenoot 1.3.4
com.fasterxml.jackson.core jackson-annotaties 2.13.4
com.fasterxml.jackson.core jackson-core 2.13.4
com.fasterxml.jackson.core jackson-databind 2.13.4.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.4
com.github.ben-manes.cafeïne Cafeïne 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib kern 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava Guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger profiler 1.1.1
com.jcraft Jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuratie 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.netje.netlib Arpack 2.2.1
dev.netje.netlib Blas 2.2.1
dev.netje.netlib Lapack 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.6.3
io.dropwizard.metrics metrische gegevenskern 4.1.1
io.dropwizard.metrics metrische gegevensgrafiet 4.1.1
io.dropwizard.metrics metrische statuscontroles 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Collector 0.12.0
jakarta.annotatie jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activering 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction Jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
Jline Jline 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna jna 5.8.0
net.razorvine Augurk 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-CSV 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.22
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr Stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow pijlnotatie 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow pijlvector 7.0.0
org.apache.avro Avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recepten 2.13.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.4-databricks
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy Ivy 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.6
org.apache.orc orc-mapreduce 1.7.6
org.apache.orc orc-shims 1.7.6
org.apache.parquet parquet-column 1.12.3-databricks-0002
org.apache.parquet parquet-common 1.12.3-databricks-0002
org.apache.parquet parquet-codering 1.12.3-databricks-0002
org.apache.parquet parquet-format-structuren 1.12.3-databricks-0002
org.apache.parquet parquet-hadoop 1.12.3-databricks-0002
org.apache.parquet parquet-jackson 1.12.3-databricks-0002
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-gearceerd 4.20
org.apache.yetus aantekeningen voor doelgroepen 0.13.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-vervolg 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance opnieuw verpakt 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator sluimerstand-validator 6.1.0.Final
org.javassist Javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Aantekeningen 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 2.1.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap Shims 0.9.25
org.rocksdb rocksdbjni 6.28.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark Ongebruikte 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani Xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel katten-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
Oro Oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1