Databricks Runtime 12.2 LTS
De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 12.2 LTS, mogelijk gemaakt door Apache Spark 3.3.2.
Databricks heeft deze afbeeldingen uitgebracht in maart 2023.
Gedragswijzigingen
[Wijziging die fouten veroorzaakt] Voor de nieuwe Python-versie moet Databricks Connect V1 Python-clients worden bijgewerkt
Als u vereiste beveiligingspatches wilt toepassen, wordt de Python-versie in Databricks Runtime 12.2 LTS bijgewerkt van 3.9.5 naar 3.9.19. Omdat deze wijzigingen fouten kunnen veroorzaken in clients die gebruikmaken van specifieke PySpark-functies, moeten clients die Databricks Connect V1 voor Python gebruiken met Databricks Runtime 12.2 LTS worden bijgewerkt naar Python 3.9.7 of hoger.
Nieuwe functies en verbeteringen
- Delta Lake-schemaontwikkeling ondersteunt het opgeven van bronkolommen in samenvoeginstructies
- Gestructureerde streamingworkloads worden ondersteund op clusters met de modus voor gedeelde toegang
- Nieuwe functies voor voorspellende I/O
- Ondersteuning voor impliciete laterale kolomaliassen
- Nieuwe forEachBatch-functie
- Gestandaardiseerde verbindingsopties voor queryfederatie
- Uitgebreide SQL-functiebibliotheek voor matrixbeheer
- Nieuwe maskerfunctie voor het anoniem maken van tekenreeksen
- Veelvoorkomende foutvoorwaarden retourneren nu SQLSTATEs
- Generatorfuncties aanroepen in de FROM-component
- Ondersteuning voor protocolbuffers is algemeen beschikbaar
- Go-to-definition voor notebookvariabelen en -functies
- Snelle oplossing voor notebooks voor het automatisch importeren van bibliotheken
- Foutoplossingen
Delta Lake-schemaontwikkeling ondersteunt het opgeven van bronkolommen in samenvoeginstructies
U kunt nu alleen kolommen opgeven die aanwezig zijn in de brontabel in invoeg- of updateacties voor samenvoeginstructies wanneer schemaontwikkeling is ingeschakeld. In Databricks Runtime 12.1 en lager kunnen alleen INSERT *
acties UPDATE SET *
worden gebruikt voor het ontwikkelen van schema's met samenvoegen. Zie Automatische schemaontwikkeling voor Delta Lake-samenvoeging.
Gestructureerde streamingworkloads worden ondersteund op clusters met de modus voor gedeelde toegang
U kunt nu Structured Streaming gebruiken om te communiceren met Unity Catalog op gedeelde clusters. Er gelden enkele beperkingen. Bekijk welke functionaliteit voor gestructureerd streamen ondersteuning biedt voor Unity Catalog.
Nieuwe functies voor voorspellende I/O
Photon-ondersteuning voor de Foreachbatch
sink is nu beschikbaar. Workloads die worden gestreamd van een bron en samenvoegen in Delta-tabellen of schrijven naar meerdere sinks, kunnen nu profiteren van photonized Foreachbatch
sink.
Ondersteuning voor impliciete laterale kolomaliassen
Azure Databricks biedt nu standaard ondersteuning voor impliciete laterale kolomaliassen. U kunt nu een expressie die eerder in dezelfde SELECT
lijst is opgegeven, opnieuw gebruiken. Bijvoorbeeld, gegeven SELECT 1 AS a
, kan a + 1 AS b
de a
in a + 1
worden omgezet als de eerder gedefinieerde 1 AS a
. Controleer naamomzetting voor meer informatie in resolutievolgorde.
Als u deze functie wilt uitschakelen, kunt u instellen spark.sql.lateralColumnAlias.enableImplicitResolution
op false
.
Nieuwe forEachBatch-functie
Photon wordt nu ondersteund bij het foreachBatch
schrijven naar een gegevenssink.
Gestandaardiseerde verbindingsopties voor queryfederatie
U kunt nu een geïntegreerde set opties (host, poort, database, gebruiker, wachtwoord) gebruiken om verbinding te maken met gegevensbronnen die worden ondersteund in queryfederatie. Port
is optioneel en gebruikt het standaardpoortnummer voor elke gegevensbron, tenzij opgegeven.
Uitgebreide SQL-functiebibliotheek voor matrixbeheer
U kunt nu alle NULL-elementen uit een matrix verwijderen met behulp van array_compact. Als u elementen wilt toevoegen aan een matrix, gebruikt u array_append.
Nieuwe maskerfunctie voor het anoniem maken van tekenreeksen
Roep de maskerfunctie aan om gevoelige tekenreekswaarden anoniem te maken.
Veelvoorkomende foutvoorwaarden retourneren nu SQLSTATEs
De meeste foutvoorwaarden die Databricks Runtime nu bevatten gedocumenteerde SQLSTATE-waarden die kunnen worden gebruikt om te testen op fouten op een conforme SQL-standaardmethode.
Generatorfuncties aanroepen in de FROM-component
U kunt nu generatorfuncties met tabelwaarden aanroepen, zoals exploderen in de reguliere FROM
component van een query. Hiermee wordt de aanroep van generatorfuncties uitgelijnd met andere ingebouwde en door de gebruiker gedefinieerde tabelfuncties.
Ondersteuning voor protocolbuffers is algemeen beschikbaar
U kunt de from_protobuf
en to_protobuf
functies gebruiken om gegevens uit te wisselen tussen binaire en structtypen. Zie Buffers voor lees- en schrijfprotocollen.
Go-to-definition voor notebookvariabelen en -functies
In notebooks kunt u snel naar de definitie van een variabele, functie of de code achter een %run
instructie gaan door met de rechtermuisknop op de naam van de variabele of functie te klikken.
Snelle oplossing voor notebooks voor het automatisch importeren van bibliotheken
Databricks Notebooks biedt nu een functie voor snelle oplossing voor het automatisch importeren van bibliotheken. Als u vergeet een bibliotheek zoals pandas te importeren, plaatst u de muisaanwijzer op de waarschuwing voor onderstreepte syntaxis en klikt u vervolgens op Quick Fix. Hiervoor moet de Databricks Assistant zijn ingeschakeld in uw werkruimte.
Bugfixes
- Verbeterde consistentie voor Delta-doorvoergedrag voor lege transacties met betrekking tot
update
,delete
enmerge
opdrachten. InWriteSerializable
isolatieniveau maken opdrachten die resulteren in geen wijzigingen, nu een lege doorvoering. In eenSerializable
isolatieniveau maken dergelijke lege transacties nu geen doorvoer.
Gedragswijzigingen
Gedrag wordt gewijzigd met de nieuwe functie voor laterale kolomalias
De nieuwe functie voor laterale kolomalias introduceert gedragswijzigingen voor de volgende gevallen tijdens de naamomzetting:
- Laterale kolomalias heeft nu voorrang op gecorreleerde verwijzingen met dezelfde naam. Voor deze query is de
c1
binnenstec1 AS c2
bijvoorbeeld omgezet in de gecorreleerde verwijzingt.c1
, maar wordt nu gewijzigd in laterale kolomalias1 AS c1
.SELECT (SELECT c2 FROM (SELECT 1 AS c1, c1 AS c2) WHERE c2 > 5) FROM VALUES(6) AS t(c1)
De query retourneertNULL
nu . - De laterale kolomalias heeft nu voorrang op functieparameters met dezelfde naam. Voor de functie is
CREATE OR REPLACE TEMPORARY FUNCTION func(x INT) RETURNS TABLE (a INT, b INT, c DOUBLE) RETURN SELECT x + 1 AS x, x
dex
hoofdtekst van de functie bijvoorbeeld omgezet in de functieparameter x, maar verandert in de laterale kolomaliasx + 1
in de hoofdtekst van de functie. De query wordtSELECT * FROM func(1)
nu geretourneerd2, 2
. - Als u de functie voor de laterale kolomalias wilt uitschakelen, stelt u deze in
spark.sql.lateralColumnAlias.enableImplicitResolution
opfalse
. Zie Naamomzetting voor meer informatie.
Bibliotheekupgrades
- Bijgewerkte Python-bibliotheken:
- filelock van 3.8.2 tot 3.9.0
- joblib van 1.1.0 tot 1.1.1
- platformdirs van 2.6.0 tot 2.6.2
- whatthepatch van 1.0.3 tot 1.0.4
- Bijgewerkte R-bibliotheken:
- klasse van 7.3-20 tot 7.3-21
- codetools van 0,2-18 tot 0,2-19
- MASSA van 7,3-58 tot 7,3-58.2
- nlme van 3.1-160 tot 3.1-162
- Rserve van 1,8-11 tot 1,8-12
- SparkR van 3.3.1 tot 3.3.2
Gedragswijzigingen
- Gebruikers moeten nu over een bestand beschikken en
MODIFY
bevoegdheden hebbenSELECT
bij het maken van een schema met een gedefinieerde locatie.
Apache Spark
Databricks Runtime 12.2 bevat Apache Spark 3.3.2. Deze release bevat alle Spark-fixes en -verbeteringen die zijn opgenomen in Databricks Runtime 12.1 (EoS) en de volgende aanvullende bugfixes en verbeteringen in Spark:
- [SPARK-42416] [SC-123205] [SC-122851] [SQL] Datumsetbewerkingen moeten het geanalyseerde logische plan niet opnieuw oplossen
- [SPARK-41848] "[CHERRY-PICK][12.x][12.1][12.0][SC-120037][CORE] Taak over-gepland herstellen met TaskResourceProfile"
- [SPARK-42162] [SC-122711] [ES-556261] MultiCommutativeOp-expressie introduceren als geheugenoptimalisatie voor het canonicaliseren van grote structuren van commutatieve expressies
- [SPARK-42406] [SC-122998] [PROTOBUF] [Cherry-pick] Recursieve diepte-instelling herstellen voor Protobuf-functies
- [SPARK-42002] [SC-122476] [VERBINDING MAKEN] [PYTHON] DataFrameWriterV2 implementeren
- [SPARK-41716] [SC-122545] [VERBINDING MAKEN] Naam van _catalog_to_pandas wijzigen in _execute_and_fetch in Catalogus
- [SPARK-41490] [SC-121774] [SQL] Naam toewijzen aan _LEGACY_ERROR_TEMP_2441
- [SPARK-41600] [SC-122538] [SPARK-41623] [SPARK-41612] [VERBINDING MAKEN] Catalog.cacheTable implementeren, isCached en uncache
- [SPARK-42191] [SC-121990] [SQL] Ondersteuning voor udf 'luhn_check'
- [SPARK-42253] [SC-121976] [PYTHON] Test toevoegen voor het detecteren van gedupliceerde foutklasse
- [SPARK-42268] [SC-122251] [VERBINDING MAKEN] [PYTHON] UserDefinedType toevoegen in protos
- [SPARK-42231] [SC-121841] [SQL] Veranderen
MISSING_STATIC_PARTITION_COLUMN
ininternalError
- [SPARK-42136] [SC-122554] Partitioneringsberekening broadcastHashJoinExec-uitvoer herstructureren
- [SPARK-42158] [SC-121610] [SQL] Integreren
_LEGACY_ERROR_TEMP_1003
inFIELD_NOT_FOUND
- [SPARK-42192] [12.x] [SC-121820] [PYTHON] De TypeError migreren van pyspark/sql/dataframe.py naar PySparkTypeError
- [SPARK-35240] [SC-118242][SS] Gebruik CheckpointFileManager ...
- [SPARK-41488] [SC-121858] [SQL] Naam toewijzen aan _LEGACY_ERROR_TEMP_1176 (en 1177)
- [SPARK-42232] [SC-122267] [SQL] Naam van foutklasse wijzigen:
UNSUPPORTED_FEATURE.JDBC_TRANSACTION
- [SPARK-42346] [SC-122480] [SQL] Afzonderlijke aggregaties herschrijven na samenvoegen van subquery
- [SPARK-42306] [SC-122539] [SQL] Integreren
_LEGACY_ERROR_TEMP_1317
inUNRESOLVED_COLUMN.WITH_SUGGESTION
- [SPARK-42234] [SC-122354] [SQL] Naam van foutklasse wijzigen:
UNSUPPORTED_FEATURE.REPEATED_PIVOT
- [SPARK-42343] [SC-122437] [CORE] Negeren
IOException
alshandleBlockRemovalFailure
SparkContext is gestopt - [SPARK-41295] [SC-122442] [SPARK-41296] [SQL] De naam van de foutklassen wijzigen
- [SPARK-42320] [SC-122478] [SQL] Naam toewijzen aan _LEGACY_ERROR_TEMP_2188
- [SPARK-42255] [SC-122483] [SQL] Naam toewijzen aan _LEGACY_ERROR_TEMP_2430
- [SPARK-42156] [SC-121851] [VERBINDING MAKEN] SparkConnectClient ondersteunt nu RetryPolicies
- [SPARK-38728] [SC-116723] [SQL] De foutklasse testen: FAILED_RENAME_PATH
- [SPARK-40005] [12.X] Zelfstandige voorbeelden in PySpark
- [SPARK-39347] [SC-122457] [SS] Opgeloste fout voor tijdvensterberekening wanneer gebeurtenistijd < 0
- [SPARK-42336] [SC-122458] [CORE] Gebruiken
getOrElse()
in plaats vancontains()
in ResourceAllocator - [SPARK-42125] [SC-121827] [VERBINDING MAKEN] [PYTHON] Pandas UDF in Spark Connect
- [SPARK-42217] [SC-122263] [SQL] Ondersteuning voor impliciete laterale kolomalias in query's met Window
- [SPARK-35240] [SC-118242] [SS] CheckpointFileManager gebruiken voor het bewerken van controlepuntenbestanden
- [SPARK-42294] [SC-122337] [SQL] Kolomstandaardwaarden opnemen in DESCRIBE-uitvoer voor V2-tabellen
- [SPARK-41979] Herstel '[12.x][SC-121190][SQL] Ontbrekende punten toevoegen voor foutberichten in foutklassen'.
- [SPARK-42286] [SC-122336] [SQL] Terugval naar het vorige codegen-codepad voor complexe expr met CAST
- [SPARK-42275] [SC-122249] [VERBINDING MAKEN] [PYTHON] Vermijd het gebruik van ingebouwde lijst, dicteren in statisch typen
- [SPARK-41985] [SC-122172] [SQL] Meer regels voor kolomomzetting centraliseren
- [SPARK-42126] [SC-122330] [PYTHON] [VERBINDING MAKEN] Retourtype accepteren in DDL-tekenreeksen voor Python Scalar UDF's in Spark Connect
- [SPARK-42197] [SC-122328] [SC-121514] [VERBINDING MAKEN] Gebruikt JVM-initialisatie en afzonderlijke configuratiegroepen om in de lokale modus op afstand in te stellen
- [SPARK-41575] [SC-120118] [SQL] Naam toewijzen aan _LEGACY_ERROR_TEMP_2054
- [SPARK-41985] '[SC-122172][SQL] Centraliseer meer regels voor kolomomzetting'
- [SPARK-42123] [SC-122234] [SC-121453] [SQL] Kolomstandaardwaarden opnemen in DE uitvoer DESCRIBE en SHOW CREATE TABLE
- [SPARK-41985] [SC-122172] [SQL] Meer regels voor kolomomzetting centraliseren
- [SPARK-42284] [SC-122233] [VERBINDING MAKEN] Zorg ervoor dat de serverassembly is gemaakt voordat u clienttests uitvoert - SBT
- [SPARK-42239] [SC-121790] [SQL] Integreren
MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
- [SPARK-42278] [SC-122170] [SQL] DS V2-pushdown ondersteunt zelf het compileren
SortOrder
van JDBC-dialecten - [SPARK-42259] [SC-122168] [SQL] ResolveGroupingAnalytics moet zorgen voor Python UDAF
- [SPARK-41979] Herstel [12.x][SC-121190][SQL] Ontbrekende punten toevoegen voor foutberichten in foutklassen.
- [SPARK-42224] [12.x] [SC-121708] [VERBINDING MAKEN] TypeError migreren naar foutframework voor Spark Connect-functies
- [SPARK-41712] [12.x] [SC-121189] [PYTHON] [VERBINDING MAKEN] Migreer de Spark Connect-fouten naar het PySpark-foutframework.
- [SPARK-42119] [SC-121913] [SC-121342] [SQL] Ingebouwde tabelwaardefuncties inline en inline_outer toevoegen
- [SPARK-41489] [SC-121713] [SQL] Naam toewijzen aan _LEGACY_ERROR_TEMP_2415
- [SPARK-42082] [12.x] [SC-121163] [SPARK-41598] [PYTHON] [VERBINDING MAKEN] PySparkValueError en PySparkTypeError introduceren
- [SPARK-42081] [SC-121723] [SQL] De validatie van planwijziging verbeteren
- [SPARK-42225] [12.x] [SC-121714] [VERBINDING MAKEN] Voeg SparkConnectIllegalArgumentException toe om de Spark Connect-fout nauwkeurig af te handelen.
- [SPARK-42044] [12.x] [SC-121280] [SQL] Onjuist foutbericht opgelost voor
MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
- [SPARK-42194] [12.x] [SC-121712] [PS] Kolomparameter toestaan bij het maken van DataFrame met reeks.
- [SPARK-42078] [12.x] [SC-120761] [PYTHON] Migreer fouten die door JVM worden gegenereerd naar PySparkException.
- [SPARK-42133] [12.x] [SC-121250] Eenvoudige api-methoden voor gegevenssets toevoegen aan SparkConnect Scala-client
- [SPARK-41979] [12.x] [SC-121190] [SQL] Voeg ontbrekende punten toe voor foutberichten in foutklassen.
- [SPARK-42124] [12.x] [SC-121420] [PYTHON] [VERBINDING MAKEN] Scalar Inline Python UDF in Spark Connect
- [SPARK-42051] [SC-121994] [SQL] Codegen-ondersteuning voor HiveGenericUDF
- [SPARK-42257] [SC-121948] [CORE] Niet-gebruikte variabele externe sorter verwijderen
- [SPARK-41735] [SC-121771] [SQL] GEBRUIK MINIMAAL in plaats van STANDARD voor SparkListenerSQLExecutionEnd
- [SPARK-42236] [SC-121882] [SQL] Verfijnen
NULLABLE_ARRAY_OR_MAP_ELEMENT
- [SPARK-42233] [SC-121775] [SQL] Foutbericht voor verbeteren voor
PIVOT_AFTER_GROUP_BY
- [SPARK-42229] [SC-121856] [CORE] Migreren
SparkCoreErrors
naar foutklassen - [SPARK-42163] [SC-121839] [SQL] Schema's verwijderen voor niet-vouwbare matrixindex of kaartsleutel herstellen
- [SPARK-40711] [SC-119990] [SQL] Metrische gegevens overloopgrootte toevoegen voor venster
- [SPARK-42023] [SC-121847] [SPARK-42024] [VERBINDING MAKEN] [PYTHON]
AtomicType -> StringType
Ondersteunings coercion makencreateDataFrame
- [SPARK-42202] [SC-121837] [Verbinding maken] [Test] De E2E-testserverstoplogica verbeteren
- [SPARK-41167] [SC-117425] [SQL] Meerdere achtige prestaties verbeteren door een evenwichtig predicaat voor expressiestructuur te maken
- [SPARK-41931] [SC-121618] [SQL] Beter foutbericht voor onvolledige complexe typedefinitie
- [SPARK-36124] [SC-121339] [SC-110446] [SQL] Ondersteuning voor subquery's met correlatie via UNION
- [SPARK-42090] [SC-121290] [3.3] Introductie van sasl-aantal nieuwe pogingen in RetryingBlockTransferor
- [SPARK-42157] [SC-121264] [CORE]
spark.scheduler.mode=FAIR
moet fair scheduler bieden - [SPARK-41572] [SC-120772] [SQL] Naam toewijzen aan _LEGACY_ERROR_TEMP_2149
- [SPARK-41983] [SC-121224] [SQL] Foutbericht naam wijzigen en verbeteren voor
NULL_COMPARISON_RESULT
- [SPARK-41976] [SC-121024] [SQL] Foutbericht voor verbeteren voor
INDEX_NOT_FOUND
- [SPARK-41994] [SC-121210] [SC-120573] SQLSTATE's toewijzen (1/2)
- [SPARK-41415] [SC-121117] [3.3] Nieuwe pogingen voor SASL-aanvragen
- [SPARK-38591] [SC-121018] [SQL] FlatMapSortedGroups en cogroupSorted toevoegen
- [SPARK-41975] [SC-120767] [SQL] Foutbericht voor verbeteren voor
INDEX_ALREADY_EXISTS
- [SPARK-42056] [SC-121158] [SQL] [PROTOBUF] Ontbrekende opties voor Protobuf-functies toevoegen
- [SPARK-41984] [SC-120769] [SQL] Foutbericht naam wijzigen en verbeteren voor
RESET_PERMISSION_TO_ORIGINAL
- [SPARK-41948] [SC-121196] [SQL] NPE herstellen voor foutklassen: CANNOT_PARSE_JSON_FIELD
- [SPARK-41772] [SC-121176] [VERBINDING MAKEN] [PYTHON] Onjuiste kolomnaam in
withField
doctest herstellen - [SPARK-41283] [SC-121175] [VERBINDING MAKEN] [PYTHON] Toevoegen
array_append
aan Verbinding maken - [SPARK-41960] [SC-120773] [SQL] Naam toewijzen aan _LEGACY_ERROR_TEMP_1056
- [SPARK-42134] [SC-121116] [SQL] Probleem opgelost met getPartitionFiltersAndDataFilters() voor het verwerken van filters zonder kenmerken waarnaar wordt verwezen
- [SPARK-42096] [SC-121012] [VERBINDING MAKEN] Sommige codeopruiming voor
connect
module - [SPARK-42099] [SC-121114] [SPARK-41845] [VERBINDING MAKEN] [PYTHON] Oplossing
count(*)
encount(col(*))
- [SPARK-42045] [SC-120958] [SC-120450] [SQL] ANSI SQL-modus: Round/Bround moet een fout retourneren bij een overloop van gehele getallen
- [SPARK-42043] [SC-120968] [VERBINDING MAKEN] Scala-clientresultaat met E2E-tests
- [SPARK-41884] [SC-121022] [VERBINDING MAKEN] Ondersteuning voor naïve tuple als geneste rij
- [SPARK-42112] [SC-121011] [SQL] [SS] Null-controle toevoegen voordat
ContinuousWriteRDD#compute
de functie wordt geslotendataWriter
- [SPARK-42077] [SC-120553] [VERBINDING MAKEN] [PYTHON] Letterlijk moet TypeError voor niet-ondersteund DataType gooien
- [SPARK-42108] [SC-120898] [SQL] Analyse transformeren
Count(*)
inCount(1)
- [SPARK-41666] [SC-120928] [SC-119009] [PYTHON] Ondersteuning voor geparameteriseerde SQL by
sql()
- [SPARK-40599] [SC-120930] [SQL] Ontspan multiTransform-regeltype om alternatieven toe te staan om elk type Seq te zijn
- [SPARK-41574] [SC-120771] [SQL] Bijwerken
_LEGACY_ERROR_TEMP_2009
alsINTERNAL_ERROR
. - [SPARK-41579] [SC-120770] [SQL] Naam toewijzen aan _LEGACY_ERROR_TEMP_1249
- [SPARK-41974] [SC-120766] [SQL] Veranderen
INCORRECT_END_OFFSET
inINTERNAL_ERROR
- [SPARK-41530] [SC-120916] [SC-118513] [CORE] De naam van MedianHeap wijzigen in PercentileMap en het percentiel ondersteunen
- [SPARK-41757] [SC-120608] [SPARK-41901] [VERBINDING MAKEN] Tekenreeksweergave voor kolomklasse herstellen
- [SPARK-42084] [SC-120775] [SQL] Vermijd het lekken van de beperking alleen-gekwalificeerde toegang
- [SPARK-41973] [SC-120765] [SQL] Naam toewijzen aan _LEGACY_ERROR_TEMP_1311
- [SPARK-42039] [SC-120655] [SQL] SPJ: Optie verwijderen in KeyGroupedPartitioning#partitionValuesOpt
- [SPARK-42079] [SC-120712] [VERBINDING MAKEN] [PYTHON] Naam van protoberichten wijzigen voor
toDF
enwithColumnsRenamed
- [SPARK-42089] [SC-120605] [VERBINDING MAKEN] [PYTHON] Problemen met variabelenamen in geneste lambda-functies oplossen
- [SPARK-41982] [SC-120604] [SQL] Partities van het type tekenreeks mogen niet worden behandeld als numerieke typen
- [SPARK-40599] [SC-120620] [SQL] MultiTransform-methoden toevoegen aan TreeNode om alternatieven te genereren
- [SPARK-42085] [SC-120556] [VERBINDING MAKEN] [PYTHON] Ondersteuning
from_arrow_schema
bieden voor geneste typen - [SPARK-42057] [SC-120507] [SQL] [PROTOBUF] Los op hoe uitzondering wordt verwerkt in foutrapportage.
- [SPARK-41586] [12.x] [ALLE TESTS] [SC-120544] [PYTHON] Introduceer
pyspark.errors
en foutklassen voor PySpark. - [SPARK-41903] [SC-120543] [VERBINDING MAKEN] [PYTHON]
Literal
moet 1-dim ndarray ondersteunen - [SPARK-42021] [SC-120584] [VERBINDING MAKEN] [PYTHON] Ondersteuning maken
createDataFrame
array.array
- [SPARK-41896] [SC-120506] [SQL] Filteren op rijindex retourneert lege resultaten
- [SPARK-41162] [SC-119742] [SQL] Anti- en semi-join corrigeren voor self-join met aggregaties
- [SPARK-41961] [SC-120501] [SQL] Ondersteuning voor tabelwaardefuncties met LATERAL
- [SPARK-41752] [SC-120550] [SQL] [UI] Geneste uitvoeringen onder de hoofduitvoering groeperen
- [SPARK-42047] [SC-120586] [SPARK-41900] [VERBINDING MAKEN] [PYTHON] [12.X] Letterlijke gegevenstypen moeten Ondersteuning bieden voor Numpy-gegevenstypen
- [SPARK-42028] [SC-120344] [VERBINDING MAKEN] [PYTHON] Tijdstempel van nanoseconden afkappen
- [SPARK-42011] [SC-120534] [VERBINDING MAKEN] [PYTHON] DataFrameReader.csv implementeren
- [SPARK-41990] [SC-120532] [SQL] Gebruiken
FieldReference.column
in plaats vanapply
in V1 naar V2-filterconversie - [SPARK-39217] [SC-120446] [SQL] DPP ondersteunt de snoeizijde union
- [SPARK-42076] [SC-120551] [VERBINDING MAKEN] [PYTHON] Factor-gegevensconversie
arrow -> rows
naarconversion.py
- [SPARK-42074] [SC-120540] [SQL] Inschakelen
KryoSerializer
TPCDSQueryBenchmark
om REGISTRATIE van SQL-klassen af te dwingen - [SPARK-42012] [SC-120517] [VERBINDING MAKEN] [PYTHON] DataFrameReader.orc implementeren
- [SPARK-41832] [SC-120513] [VERBINDING MAKEN] [PYTHON] Oplossing
DataFrame.unionByName
, allow_missing_columns toevoegen - [SPARK-38651] [SC-120514] [SQL] Toevoegen
spark.sql.legacy.allowEmptySchemaWrite
- [SPARK-41991] [SC-120406] [SQL]
CheckOverflowInTableInsert
moet ExpressionProxy accepteren als onderliggend item - [SPARK-41232] [SC-120073] [SQL] [PYTHON] Functie array_append toevoegen
- [SPARK-42041] [SC-120512] [SPARK-42013] [VERBINDING MAKEN] [PYTHON] DataFrameReader moet een lijst met paden ondersteunen
- [SPARK-42071] [SC-120533] [CORE] Registreren bij
scala.math.Ordering$Reverse
KyroSerializer - [SPARK-41986] [SC-120429] [SQL] Shuffle introduceren bij SinglePartition
- [SPARK-42016] [SC-120428] [VERBINDING MAKEN] [PYTHON] Tests inschakelen die betrekking hebben op de geneste kolom
- [SPARK-42042] [SC-120427] [VERBINDING MAKEN] [PYTHON]
DataFrameReader
moet het StructType-schema ondersteunen - [SPARK-42031] [SC-120389] [CORE] [SQL] Methoden opschonen
remove
die niet hoeven te worden overschreven - [SPARK-41746] [SC-120463] [SPARK-41838] [SPARK-41837] [SPARK-41835] [SPARK-41836] [SPARK-41847] [VERBINDING MAKEN] [PYTHON] Ondersteuning
createDataFrame(rows/lists/tuples/dicts)
bieden voor geneste typen - [SPARK-41437] [SC-117601] [SQL] [ALLE TESTS] De invoerquery niet twee keer optimaliseren voor terugval van v1-schrijfbewerking
- [SPARK-41840] [SC-119719] [VERBINDING MAKEN] [PYTHON] De ontbrekende alias toevoegen
groupby
- [SPARK-41846] [SC-119717] [VERBINDING MAKEN] [PYTHON] Doctests inschakelen voor vensterfuncties
- [SPARK-41914] [SC-120094] [SQL] FileFormatWriter materialiseert het AQE-plan voordat u de outputOrdering opent
- [SPARK-41805] [SC-119992] [SQL] Expressies opnieuw gebruiken in WindowSpecDefinition
- [SPARK-41977] [SC-120269] [SPARK-41978] [VERBINDING MAKEN] SparkSession.range om te zweven als argumenten
- [SPARK-42029] [SC-120336] [VERBINDING MAKEN] Guava Arceringsregels toevoegen om opstartfouten te
connect-common
voorkomen - [SPARK-41989] [SC-120334] [PYTHON] Voorkom dat de configuratie van logboekregistratie van pyspark.pandas wordt onderbroken
- [SPARK-42003] [SC-120331] [SQL] Dubbele code verminderen in ResolveGroupByAll
- [SPARK-41635] [SC-120313] [SQL] Groeperen op alle foutenrapportage oplossen
- [SPARK-41047] [SC-120291] [SQL] Documenten verbeteren voor ronde
- [SPARK-41822] [SC-120122] [VERBINDING MAKEN] GRPC-verbinding instellen voor Scala/JVM-client
- [SPARK-41879] [SC-120264] [VERBINDING MAKEN] [PYTHON] Ondersteuning
DataFrame.collect
bieden voor geneste typen - [SPARK-41887] [SC-120268] [VERBINDING MAKEN] [PYTHON] Parameter voor lijsttype accepteren maken
DataFrame.hint
- [SPARK-41964] [SC-120210] [VERBINDING MAKEN] [PYTHON] De lijst met niet-ondersteunde IO-functies toevoegen
- [SPARK-41595] [SC-120097] [SQL] De generatorfunctie explodeert/explode_outer in de FROM-component
- [SPARK-41957] [SC-120121] [VERBINDING MAKEN] [PYTHON] De doctest inschakelen voor
DataFrame.hint
- [SPARK-41886] [SC-120141] [VERBINDING MAKEN] [PYTHON]
DataFrame.intersect
doctest-uitvoer heeft een andere volgorde - [SPARK-41442] [SC-117795] [SQL] [ALLE TESTS] Alleen SQLMetric-waarde bijwerken als u met geldige metrische gegevens samenvoegt
- [SPARK-41944] [SC-120046] [VERBINDING MAKEN] Configuraties doorgeven wanneer de lokale externe modus is ingeschakeld
- [SPARK-41708] [SC-119838] [SQL] Pull v1write information to
WriteFiles
- [SPARK-41780] [SC-120000] [SQL] Gooi INVALID_PARAMETER_VALUE. PATROON wanneer de parameters
regexp
ongeldig zijn - [SPARK-41889] [SC-119975] [SQL] Hoofdoorzaak koppelen aan invalidPatternError & foutklassen herstructureren INVALID_PARAMETER_VALUE
- [SPARK-41860] [SC-120028] [SQL] Maak avroScanBuilder- en JsonScanBuilder-caseklassen
- [SPARK-41945] [SC-120010] [VERBINDING MAKEN] [PYTHON] Python: verbinding maken tussen de verloren kolomgegevens van de client met pyarrow. Table.to_pylist
- [SPARK-41690] [SC-119102] [SC-119087] [SQL] [VERBINDING MAKEN] Agnostische coderingsprogramma's
- [SPARK-41354] [SC-119995] [VERBINDING MAKEN] [PYTHON] RepartitionByExpression implementeren
- [SPARK-41581] [SC-119997] [SQL] Bijwerken
_LEGACY_ERROR_TEMP_1230
alsINTERNAL_ERROR
- [SPARK-41928] [SC-119972] [VERBINDING MAKEN] [PYTHON] De niet-ondersteunde lijst toevoegen voor
functions
- [SPARK-41933] [SC-119980] [VERBINDING MAKEN] Lokale modus opgeven waarmee de server automatisch wordt gestart
- [SPARK-41899] [SC-119971] [VERBINDING MAKEN] [PYTHON] createDataFrame' moet de door de gebruiker opgegeven DDL-schema respecteren
- [SPARK-41936] [SC-119978] [VERBINDING MAKEN] [PYTHON] Het proto opnieuw gebruiken
withMetadata
withColumns
- [SPARK-41898] [SC-119931] [VERBINDING MAKEN] [PYTHON] Window.rowsBetween, Window.rangeBetween parameters typecheck parity with pyspark
- [SPARK-41939] [SC-119977] [VERBINDING MAKEN] [PYTHON] De niet-ondersteunde lijst voor
catalog
functies toevoegen - [SPARK-41924] [SC-119946] [VERBINDING MAKEN] [PYTHON] StructType-ondersteuningsmetagegevens maken en implementeren
DataFrame.withMetadata
- [SPARK-41934] [SC-119967] [VERBINDING MAKEN] [PYTHON] De lijst met niet-ondersteunde functies toevoegen voor
session
- [SPARK-41875] [SC-119969] [VERBINDING MAKEN] [PYTHON] Testcases toevoegen voor
Dataset.to()
- [SPARK-41824] [SC-119970] [VERBINDING MAKEN] [PYTHON] Ingore de doctest voor uitleg over verbinding
- [SPARK-41880] [SC-119959] [VERBINDING MAKEN] [PYTHON]
from_json
Functie accepteren niet-letterlijk schema - [SPARK-41927] [SC-119952] [VERBINDING MAKEN] [PYTHON] De niet-ondersteunde lijst toevoegen voor
GroupedData
- [SPARK-41929] [SC-119949] [VERBINDING MAKEN] [PYTHON] Functie toevoegen
array_compact
- [SPARK-41827] [SC-119841] [VERBINDING MAKEN] [PYTHON] Acceptatiekolomlijst
GroupBy
maken - [SPARK-41925] [SC-119905] [SQL] Standaard inschakelen
spark.sql.orc.enableNestedColumnVectorizedReader
- [SPARK-41831] [SC-119853] [VERBINDING MAKEN] [PYTHON] Acceptatiekolomlijst
DataFrame.select
maken - [SPARK-41455] [SC-119858] [VERBINDING MAKEN] [PYTHON] De
DataFrame.collect
tijdzonegegevens verwijderen - [SPARK-41923] [SC-119861] [VERBINDING MAKEN] [PYTHON] Toevoegen
DataFrame.writeTo
aan de niet-ondersteunde lijst - [SPARK-41912] [SC-119837] [SQL] CTE mag niet worden gevalideerd door subquery
- [SPARK-41828] [SC-119832] [VERBINDING MAKEN] [PYTHON] [12.X] Ondersteuning voor een leeg dataframe maken
createDataFrame
- [SPARK-41905] [SC-119848] [VERBINDING MAKEN] Ondersteuningsnaam als tekenreeksen in segment
- [SPARK-41869] [SC-119845] [VERBINDING MAKEN] Eén tekenreeks weigeren in dropDuplicates
- [SPARK-41830] [SC-119840] [VERBINDING MAKEN] [PYTHON] Accepteer
DataFrame.sample
dezelfde parameters als PySpark - [SPARK-41849] [SC-119835] [VERBINDING MAKEN] DataFrameReader.text implementeren
- [SPARK-41861] [SC-119834] [SQL] De build() van v2 ScanBuilders maken van een scan die is getypt
- [SPARK-41825] [SC-119710] [VERBINDING MAKEN] [PYTHON] Doctests inschakelen met betrekking tot
DataFrame.show
- [SPARK-41855] [SC-119804] [SC-119410] [SPARK-41814] [SPARK-41851] [SPARK-41852] [VERBINDING MAKEN] [PYTHON] [12.X] Handgreep Geen/NaN correct maken
createDataFrame
- [SPARK-41833] [SC-119685] [SPARK-41881] [SPARK-41815] [VERBINDING MAKEN] [PYTHON] Handgreep
DataFrame.collect
Geen/NaN/Matrix/Binair porperly maken - [SPARK-39318] [SC-119713] [SQL] tpch-plan-stabiliteit MetStats gouden bestanden verwijderen
- [SPARK-41791] [SC-119745] Nieuwe kolomtypen voor metagegevens van bestandsbron toevoegen
- [SPARK-41790] [SC-119729] [SQL] De indeling VAN TRANSFORM-lezer en schrijver correct instellen
- [SPARK-41829] [SC-119725] [VERBINDING MAKEN] [PYTHON] Voeg de ontbrekende orderparameter toe in
Sort
ensortWithinPartitions
- [SPARK-41576] [SC-119718] [SQL] Naam toewijzen aan _LEGACY_ERROR_TEMP_2051
- [SPARK-41821] [SC-119716] [VERBINDING MAKEN] [PYTHON] Doc-test voor DataFrame.describe herstellen
- [SPARK-41871] [SC-119714] [VERBINDING MAKEN] De hintparameter dataframe kan str, float of int zijn
- [SPARK-41720] [SC-119076] [SQL] Naam van UnresolvedFunc wijzigen in UnresolvedFunctionName
- [SPARK-41573] [SC-119567] [SQL] Naam toewijzen aan _LEGACY_ERROR_TEMP_2136
- [SPARK-41862] [SC-119492] [SQL] Correctiefout met betrekking tot STANDAARDwaarden in Orc-lezer oplossen
- [SPARK-41582] [SC-119482] [SC-118701] [CORE] [SQL] Opnieuw gebruiken
INVALID_TYPED_LITERAL
in plaats van_LEGACY_ERROR_TEMP_0022
Onderhoudsupdates
Zie onderhoudsupdates voor Databricks Runtime 12.2.
Systeemomgeving
- Besturingssysteem: Ubuntu 20.04.5 LTS
- Java: Zulu 8.68.0.21-CA-linux64
- Scala: 2.12.15
- Python: 3.9.19
- R: 4.2.2
- Delta Lake: 2.2.0
Geïnstalleerde Python-bibliotheken
Bibliotheek | Versie | Bibliotheek | Versie | Bibliotheek | Versie |
---|---|---|---|---|---|
argon2-cffi | 21.3.0 | argon2-cffi-bindingen | 21.2.0 | asttokens | 2.0.5 |
attrs | 21.4.0 | backcall | 0.2.0 | backports.entry-points-selectable | 1.2.0 |
beautifulsoup4 | 4.11.1 | zwart | 22.3.0 | bleken | 4.1.0 |
boto3 | 1.21.32 | botocore | 1.24.32 | certifi | 2021.10.8 |
cffiffi | 1.15.0 | chardet | 4.0.0 | charset-normalizer | 2.0.4 |
klikken | 8.0.4 | cryptografie | 3.4.8 | wielrijder | 0.11.0 |
Cython | 0.29.28 | dbus-python | 1.2.16 | foutopsporing | 1.5.1 |
decorateur | 5.1.1 | defusedxml | 0.7.1 | distlib | 0.3.6 |
docstring-to-markdown | 0,11 | invoerpunten | 0,4 | Uitvoeren | 0.8.3 |
facets-overview | 1.0.0 | fastjsonschema | 2.16.2 | filelock | 3.9.0 |
fonttools | 4.25.0 | idna | 3.3 | ipykernel | 6.15.3 |
ipython | 8.5.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
jedi | 0.18.1 | Jinja2 | 2.11.3 | jmespath | 0.10.0 |
joblib | 1.1.1 | jsonschema | 4.4.0 | jupyter-client | 6.1.12 |
jupyter_core | 4.11.2 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 |
kiwisolver | 1.3.2 | MarkupSafe | 2.0.1 | matplotlib | 3.5.1 |
matplotlib-inline | 0.1.2 | Mccabe | 0.7.0 | mistune | 0.8.4 |
mypy-extensions | 0.4.3 | nbclient | 0.5.13 | nbconvert | 6.4.4 |
nbformat | 5.3.0 | nest-asyncio | 1.5.5 | nodeenv | 1.7.0 |
notebook | 6.4.8 | numpy | 1.21.5 | verpakking | 21.3 |
Pandas | 1.4.2 | pandocfilters | 1.5.0 | parso | 0.8.3 |
pathspec | 0.9.0 | Patsy | 0.5.2 | pexpect | 4.8.0 |
pickleshare | 0.7.5 | Kussen | 9.0.1 | pit | 21.2.4 |
platformdirs | 2.6.2 | plotly | 5.6.0 | pluggy | 1.0.0 |
prometheus-client | 0.13.1 | prompt-toolkit | 3.0.20 | protobuf | 3.19.4 |
psutil | 5.8.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
pure-eval | 0.2.2 | pyarrow | 7.0.0 | pycparser | 2.21 |
pyflakes | 2.5.0 | Pygments | 2.11.2 | PyGObject | 3.36.0 |
pyodbc | 4.0.32 | pyparsing | 3.0.4 | pyright | 1.1.283 |
pyrsistent | 0.18.0 | python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.0.0 |
python-lsp-server | 1.6.0 | pytz | 2021.3 | pyzmq | 22.3.0 |
requests | 2.27.1 | requests-unixsocket | 0.2.0 | touw | 0.22.0 |
s3transfer | 0.5.0 | scikit-learn | 1.0.2 | scipy | 1.7.3 |
seaborn | 0.11.2 | Send2Trash | 1.8.0 | setuptools | 61.2.0 |
Zes | 1.16.0 | soepsieve | 2.3.1 | ssh-import-id | 5.10 |
stack-data | 0.2.0 | statsmodels | 0.13.2 | vasthoudendheid | 8.0.1 |
terminado | 0.13.1 | testpath | 0.5.0 | threadpoolctl | 2.2.0 |
tokenize-rt | 4.2.1 | tomli | 1.2.2 | tornado | 6.1 |
traitlets | 5.1.1 | typing_extensions | 4.1.1 | ujson | 5.1.0 |
upgrades zonder toezicht | 0,1 | urllib3 | 1.26.9 | virtualenv | 20.8.0 |
wcwidth | 0.2.5 | webencodings | 0.5.1 | whatthepatch | 1.0.4 |
wiel | 0.37.0 | widgetsnbextension | 3.6.1 | yapf | 0.31.0 |
Geïnstalleerde R-bibliotheken
R-bibliotheken worden geïnstalleerd vanuit de Microsoft CRAN-momentopname op 2022-11-11.
Bibliotheek | Versie | Bibliotheek | Versie | Bibliotheek | Versie |
---|---|---|---|---|---|
pijl | 10.0.0 | askpass | 1.1 | assertthat | 0.2.1 |
backports | 1.4.1 | base | 4.2.2 | base64enc | 0.1-3 |
bit | 4.0.4 | bit64 | 4.0.5 | blob | 1.2.3 |
opstarten | 1.3-28 | brouwsel | 1.0-8 | Brio | 1.1.3 |
bezem | 1.0.1 | bslib | 0.4.1 | cachem | 1.0.6 |
beller | 3.7.3 | caret | 6.0-93 | cellranger | 1.1.0 |
Chron | 2.3-58 | class | 7.3-21 | cli | 3.4.1 |
clipr | 0.8.0 | klok | 0.6.1 | cluster | 2.1.4 |
codetools | 0.2-19 | colorspace | 2.0-3 | commonmark | 1.8.1 |
compiler | 4.2.2 | configuratie | 0.3.1 | cpp11 | 0.4.3 |
Crayon | 1.5.2 | aanmeldingsgegevens | 1.3.2 | curl | 4.3.3 |
data.table | 1.14.4 | gegevenssets | 4.2.2 | DBI | 1.1.3 |
dbplyr | 2.2.1 | Desc | 1.4.2 | devtools | 2.4.5 |
diffobj | 0.3.5 | verteren | 0.6.30 | downlit | 0.4.2 |
dplyr | 1.0.10 | dtplyr | 1.2.2 | e1071 | 1.7-12 |
beletselteken | 0.3.2 | evaluate | 0,18 | fansi | 1.0.3 |
farver | 2.1.1 | fastmap | 1.1.0 | fontawesome | 0.4.0 |
forcats | 0.5.2 | foreach | 1.5.2 | buitenlands | 0.8-82 |
smeden | 0.2.0 | Fs | 1.5.2 | toekomst | 1.29.0 |
future.apply | 1.10.0 | gorgelen | 1.2.1 | Generics | 0.1.3 |
Gert | 1.9.1 | ggplot2 | 3.4.0 | Gh | 1.3.1 |
gitcreds | 0.1.2 | glmnet | 4.1-4 | globals | 0.16.1 |
lijm | 1.6.2 | googledrive | 2.0.0 | googlesheets4 | 1.0.1 |
Gower | 1.0.0 | afbeeldingen | 4.2.2 | grDevices | 4.2.2 |
rooster | 4.2.2 | gridExtra | 2.3 | gsubfn | 0,7 |
gtable | 0.3.1 | hardhat | 1.2.0 | haven | 2.5.1 |
highr | 0,9 | Hms | 1.1.2 | htmltools | 0.5.3 |
htmlwidgets | 1.5.4 | httpuv | 1.6.6 | httr | 1.4.4 |
ids | 1.0.1 | ini | 0.3.1 | ipred | 0.9-13 |
isoband | 0.2.6 | Iterators | 1.0.14 | jquerylib | 0.1.4 |
jsonlite | 1.8.3 | KernSmooth | 2.23-20 | breiwerk | 1,40 |
Labeling | 0.4.2 | later | 1.3.0 | latwerk | 0.20-45 |
lava | 1.7.0 | levenscyclus | 1.0.3 | listenv | 0.8.0 |
lubridate | 1.9.0 | magrittr | 2.0.3 | Markdown | 1.3 |
MASSA | 7.3-58.2 | Matrix | 1.5-1 | memoise | 2.0.1 |
methoden | 4.2.2 | mgcv | 1.8-41 | Mime | 0,12 |
miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 | modeller | 0.1.9 |
munsell | 0.5.0 | nlme | 3.1-162 | nnet | 7.3-18 |
numDeriv | 2016.8-1.1 | openssl | 2.0.4 | parallel | 4.2.2 |
parallel | 1.32.1 | pilaar | 1.8.1 | pkgbuild | 1.3.1 |
pkgconfig | 2.0.3 | pkgdown | 2.0.6 | pkgload | 1.3.1 |
plogr | 0.2.0 | plyr | 1.8.7 | loven | 1.0.0 |
prettyunits | 1.1.1 | Proc | 1.18.0 | processx | 3.8.0 |
prodlim | 2019.11.13 | profvis | 0.3.7 | Voortgang | 1.2.2 |
progressr | 0.11.0 | Beloften | 1.2.0.1 | Proto | 1.0.0 |
proxy | 0.4-27 | ps | 1.7.2 | purrr | 0.3.5 |
r2d3 | 0.2.6 | R6 | 2.5.1 | ragg | 1.2.4 |
randomForest | 4.7-1.1 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
RColorBrewer | 1.1-3 | Rcpp | 1.0.9 | RcppEigen | 0.3.3.9.3 |
leesbewerking | 2.1.3 | readxl | 1.4.1 | recepten | 1.0.3 |
Rematch | 1.0.1 | opnieuw overeenkomen2 | 2.1.2 | Afstandsbedieningen | 2.4.2 |
reprex | 2.0.2 | hervorm2 | 1.4.4 | rlang | 1.0.6 |
rmarkdown | 2.18 | RODBC | 1.3-19 | roxygen2 | 7.2.1 |
rpart | 4.1.19 | rprojroot | 2.0.3 | Rserve | 1.8-12 |
RSQLite | 2.2.18 | rstudioapi | 0,14 | rversions | 2.1.2 |
rvest | 1.0.3 | Sass | 0.4.2 | weegschaal | 1.2.1 |
selectr | 0.4-2 | sessioninfo | 1.2.2 | vorm | 1.4.6 |
glanzend | 1.7.3 | sourcetools | 0.1.7 | sparklyr | 1.7.8 |
SparkR | 3.3.2 | ruimtelijk | 7.3-11 | Splines | 4.2.2 |
sqldf | 0.4-11 | SQUAREM | 2021.1 | Stats | 4.2.2 |
stats4 | 4.2.2 | stringi | 1.7.8 | stringr | 1.4.1 |
overleving | 3.4-0 | sys | 3.4.1 | systemfonts | 1.0.4 |
tcltk | 4.2.2 | testthat | 3.1.5 | tekstvorm | 0.3.6 |
tibble | 3.1.8 | tidyr | 1.2.1 | tidyselect | 1.2.0 |
tidyverse | 1.3.2 | timechange | 0.1.1 | timeDate | 4021.106 |
tinytex | 0.42 | tools | 4.2.2 | tzdb | 0.3.0 |
urlchecker | 1.0.1 | usethis | 2.1.6 | utf8 | 1.2.2 |
utils | 4.2.2 | uuid | 1.1-0 | vctrs | 0.5.0 |
viridisLite | 0.4.1 | Vroom | 1.6.0 | Waldo | 0.4.0 |
snor | 0,4 | withr | 2.5.0 | xfun | 0.34 |
xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
yaml | 2.3.6 | ritssluiting | 2.2.2 |
Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)
Groeps-id | Artefact-id | Versie |
---|---|---|
antlr | antlr | 2.7.7 |
com.amazonaws | amazon-kinesis-client | 1.12.0 |
com.amazonaws | aws-java-sdk-autoscaling | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudformation | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudfront | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudhsm | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudsearch | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudtrail | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudwatch | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.189 |
com.amazonaws | aws-java-sdk-codedeploy | 1.12.189 |
com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.189 |
com.amazonaws | aws-java-sdk-cognitosync | 1.12.189 |
com.amazonaws | aws-java-sdk-config | 1.12.189 |
com.amazonaws | aws-java-sdk-core | 1.12.189 |
com.amazonaws | aws-java-sdk-datapipeline | 1.12.189 |
com.amazonaws | aws-java-sdk-directconnect | 1.12.189 |
com.amazonaws | aws-java-sdk-directory | 1.12.189 |
com.amazonaws | aws-java-sdk-dynamodb | 1.12.189 |
com.amazonaws | aws-java-sdk-ec2 | 1.12.189 |
com.amazonaws | aws-java-sdk-ecs | 1.12.189 |
com.amazonaws | aws-java-sdk-efs | 1.12.189 |
com.amazonaws | aws-java-sdk-elasticache | 1.12.189 |
com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.189 |
com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.189 |
com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.189 |
com.amazonaws | aws-java-sdk-emr | 1.12.189 |
com.amazonaws | aws-java-sdk-glacier | 1.12.189 |
com.amazonaws | aws-java-sdk-glue | 1.12.189 |
com.amazonaws | aws-java-sdk-iam | 1.12.189 |
com.amazonaws | aws-java-sdk-importexport | 1.12.189 |
com.amazonaws | aws-java-sdk-kinesis | 1.12.189 |
com.amazonaws | aws-java-sdk-kms | 1.12.189 |
com.amazonaws | aws-java-sdk-lambda | 1.12.189 |
com.amazonaws | aws-java-sdk-logs | 1.12.189 |
com.amazonaws | aws-java-sdk-machinelearning | 1.12.189 |
com.amazonaws | aws-java-sdk-opsworks | 1.12.189 |
com.amazonaws | aws-java-sdk-rds | 1.12.189 |
com.amazonaws | aws-java-sdk-redshift | 1.12.189 |
com.amazonaws | aws-java-sdk-route53 | 1.12.189 |
com.amazonaws | aws-java-sdk-s3 | 1.12.189 |
com.amazonaws | aws-java-sdk-ses | 1.12.189 |
com.amazonaws | aws-java-sdk-simpledb | 1.12.189 |
com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.189 |
com.amazonaws | aws-java-sdk-sns | 1.12.189 |
com.amazonaws | aws-java-sdk-sqs | 1.12.189 |
com.amazonaws | aws-java-sdk-ssm | 1.12.189 |
com.amazonaws | aws-java-sdk-storagegateway | 1.12.189 |
com.amazonaws | aws-java-sdk-sts | 1.12.189 |
com.amazonaws | aws-java-sdk-support | 1.12.189 |
com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
com.amazonaws | aws-java-sdk-workspaces | 1.12.189 |
com.amazonaws | jmespath-java | 1.12.189 |
com.chuusai | shapeless_2.12 | 2.3.3 |
com.clearspring.analytics | stroom | 2.9.6 |
com.databricks | Rserve | 1.8-3 |
com.databricks | jets3t | 0.7.1-0 |
com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
com.esotericsoftware | kryo-gearceerd | 4.0.2 |
com.esotericsoftware | minlog | 1.3.0 |
com.fasterxml | klasgenoot | 1.3.4 |
com.fasterxml.jackson.core | jackson-annotaties | 2.13.4 |
com.fasterxml.jackson.core | jackson-core | 2.13.4 |
com.fasterxml.jackson.core | jackson-databind | 2.13.4.2 |
com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.13.4 |
com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.13.4 |
com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.13.4 |
com.fasterxml.jackson.module | jackson-module-paranamer | 2.13.4 |
com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.13.4 |
com.github.ben-manes.cafeïne | cafeïne | 2.3.4 |
com.github.fommil | jniloader | 1.1 |
com.github.fommil.netlib | kern | 1.1.2 |
com.github.fommil.netlib | native_ref-java | 1.1 |
com.github.fommil.netlib | native_ref-java-natives | 1.1 |
com.github.fommil.netlib | native_system-java | 1.1 |
com.github.fommil.netlib | native_system-java-natives | 1.1 |
com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
com.github.luben | zstd-jni | 1.5.2-1 |
com.github.wendykierp | JTransforms | 3.1 |
com.google.code.findbugs | jsr305 | 3.0.0 |
com.google.code.gson | gson | 2.8.6 |
com.google.crypto.tink | Tink | 1.6.1 |
com.google.flatbuffers | flatbuffers-java | 1.12.0 |
com.google.guava | guave | 15.0 |
com.google.protobuf | protobuf-java | 2.6.1 |
com.h2database | h2 | 2.0.204 |
com.helger | profiler | 1.1.1 |
com.jcraft | jsch | 0.1.50 |
com.jolbox | bonecp | 0.8.0.RELEASE |
com.lihaoyi | sourcecode_2.12 | 0.1.9 |
com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
com.ning | compress-lzf | 1.1 |
com.sun.mail | javax.mail | 1.5.2 |
com.tdunning | json | 1.8 |
com.thoughtworks.paranamer | paranamer | 2.8 |
com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
com.twitter | chill-java | 0.10.0 |
com.twitter | chill_2.12 | 0.10.0 |
com.twitter | util-app_2.12 | 7.1.0 |
com.twitter | util-core_2.12 | 7.1.0 |
com.twitter | util-function_2.12 | 7.1.0 |
com.twitter | util-jvm_2.12 | 7.1.0 |
com.twitter | util-lint_2.12 | 7.1.0 |
com.twitter | util-registry_2.12 | 7.1.0 |
com.twitter | util-stats_2.12 | 7.1.0 |
com.typesafe | configuratie | 1.2.1 |
com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
com.uber | h3 | 3.7.0 |
com.univocity | univocity-parsers | 2.9.1 |
com.zaxxer | HikariCP | 4.0.3 |
commons-cli | commons-cli | 1.5.0 |
commons-codec | commons-codec | 1.15 |
commons-collections | commons-collections | 3.2.2 |
commons-dbcp | commons-dbcp | 1.4 |
commons-fileupload | commons-fileupload | 1.3.3 |
commons-httpclient | commons-httpclient | 3.1 |
commons-io | commons-io | 2.11.0 |
commons-lang | commons-lang | 2.6 |
commons-logging | commons-logging | 1.1.3 |
commons-pool | commons-pool | 1.5.4 |
dev.netje.netlib | arpack | 2.2.1 |
dev.netje.netlib | Blas | 2.2.1 |
dev.netje.netlib | lapack | 2.2.1 |
info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
io.airlift | aircompressor | 0.21 |
io.delta | delta-sharing-spark_2.12 | 0.6.3 |
io.dropwizard.metrics | metrische gegevenskern | 4.1.1 |
io.dropwizard.metrics | metrische gegevensgrafiet | 4.1.1 |
io.dropwizard.metrics | metrische statuscontroles | 4.1.1 |
io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
io.dropwizard.metrics | metrics-jmx | 4.1.1 |
io.dropwizard.metrics | metrics-json | 4.1.1 |
io.dropwizard.metrics | metrics-jvm | 4.1.1 |
io.dropwizard.metrics | metrics-servlets | 4.1.1 |
io.netty | netty-all | 4.1.74.Final |
io.netty | netty-buffer | 4.1.74.Final |
io.netty | netty-codec | 4.1.74.Final |
io.netty | netty-common | 4.1.74.Final |
io.netty | netty-handler | 4.1.74.Final |
io.netty | netty-resolver | 4.1.74.Final |
io.netty | netty-tcnative-classes | 2.0.48.Final |
io.netty | netty-transport | 4.1.74.Final |
io.netty | netty-transport-classes-epoll | 4.1.74.Final |
io.netty | netty-transport-classes-kqueue | 4.1.74.Final |
io.netty | netty-transport-native-epoll-linux-aarch_64 | 4.1.74.Final |
io.netty | netty-transport-native-epoll-linux-x86_64 | 4.1.74.Final |
io.netty | netty-transport-native-kqueue-osx-aarch_64 | 4.1.74.Final |
io.netty | netty-transport-native-kqueue-osx-x86_64 | 4.1.74.Final |
io.netty | netty-transport-native-unix-common | 4.1.74.Final |
io.prometheus | simpleclient | 0.7.0 |
io.prometheus | simpleclient_common | 0.7.0 |
io.prometheus | simpleclient_dropwizard | 0.7.0 |
io.prometheus | simpleclient_pushgateway | 0.7.0 |
io.prometheus | simpleclient_servlet | 0.7.0 |
io.prometheus.jmx | verzamelaar | 0.12.0 |
jakarta.annotatie | jakarta.annotation-api | 1.3.5 |
jakarta.servlet | jakarta.servlet-api | 4.0.3 |
jakarta.validation | jakarta.validation-api | 2.0.2 |
jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
javax.activation | activering | 1.1.1 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.transaction | jta | 1.1 |
javax.transaction | transaction-api | 1.1 |
javax.xml.bind | jaxb-api | 2.2.11 |
javolution | javolution | 5.5.1 |
jline | jline | 2.14.6 |
joda-time | joda-time | 2.10.13 |
net.java.dev.jna | jna | 5.8.0 |
net.razorvine | pekelen | 1.2 |
net.sf.jpam | jpam | 1.1 |
net.sf.opencsv | opencsv | 2.3 |
net.sf.supercsv | super-CSV | 2.2.0 |
net.snowflake | snowflake-ingest-sdk | 0.9.6 |
net.snowflake | snowflake-jdbc | 3.13.22 |
net.sourceforge.f2j | arpack_combined_all | 0,1 |
org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
org.antlr | ST4 | 4.0.4 |
org.antlr | antlr-runtime | 3.5.2 |
org.antlr | antlr4-runtime | 4.8 |
org.antlr | tekenreekstemplate | 3.2.1 |
org.apache.ant | ant | 1.9.2 |
org.apache.ant | ant-jsch | 1.9.2 |
org.apache.ant | ant-launcher | 1.9.2 |
org.apache.arrow | pijlnotatie | 7.0.0 |
org.apache.arrow | arrow-memory-core | 7.0.0 |
org.apache.arrow | arrow-memory-netty | 7.0.0 |
org.apache.arrow | pijlvector | 7.0.0 |
org.apache.avro | avro | 1.11.0 |
org.apache.avro | avro-ipc | 1.11.0 |
org.apache.avro | avro-mapred | 1.11.0 |
org.apache.commons | commons-collections4 | 4.4 |
org.apache.commons | commons-compress | 1.21 |
org.apache.commons | commons-crypto | 1.1.0 |
org.apache.commons | commons-lang3 | 3.12.0 |
org.apache.commons | commons-math3 | 3.6.1 |
org.apache.commons | commons-text | 1.10.0 |
org.apache.curator | curator-client | 2.13.0 |
org.apache.curator | curator-framework | 2.13.0 |
org.apache.curator | curator-recepten | 2.13.0 |
org.apache.derby | Derby | 10.14.2.0 |
org.apache.hadoop | hadoop-client-api | 3.3.4-databricks |
org.apache.hadoop | hadoop-client-runtime | 3.3.4 |
org.apache.hive | hive-beeline | 2.3.9 |
org.apache.hive | hive-cli | 2.3.9 |
org.apache.hive | hive-jdbc | 2.3.9 |
org.apache.hive | hive-llap-client | 2.3.9 |
org.apache.hive | hive-llap-common | 2.3.9 |
org.apache.hive | hive-serde | 2.3.9 |
org.apache.hive | hive-shims | 2.3.9 |
org.apache.hive | hive-storage-api | 2.8.1 |
org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
org.apache.hive.shims | hive-shims-common | 2.3.9 |
org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
org.apache.httpcomponents | httpclient | 4.5.13 |
org.apache.httpcomponents | httpcore | 4.4.14 |
org.apache.ivy | klimop | 2.5.0 |
org.apache.logging.log4j | log4j-1.2-api | 2.18.0 |
org.apache.logging.log4j | log4j-api | 2.18.0 |
org.apache.logging.log4j | log4j-core | 2.18.0 |
org.apache.logging.log4j | log4j-slf4j-impl | 2.18.0 |
org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
org.apache.orc | orc-core | 1.7.6 |
org.apache.orc | orc-mapreduce | 1.7.6 |
org.apache.orc | orc-shims | 1.7.6 |
org.apache.parquet | parquet-column | 1.12.3-databricks-0002 |
org.apache.parquet | parquet-common | 1.12.3-databricks-0002 |
org.apache.parquet | parquet-codering | 1.12.3-databricks-0002 |
org.apache.parquet | parquet-format-structuren | 1.12.3-databricks-0002 |
org.apache.parquet | parquet-hadoop | 1.12.3-databricks-0002 |
org.apache.parquet | parquet-jackson | 1.12.3-databricks-0002 |
org.apache.thrift | libfb303 | 0.9.3 |
org.apache.thrift | libthrift | 0.12.0 |
org.apache.xbean | xbean-asm9-gearceerd | 4.20 |
org.apache.yetus | aantekeningen voor doelgroepen | 0.13.0 |
org.apache.zookeeper | zookeeper | 3.6.2 |
org.apache.zookeeper | zookeeper-jute | 3.6.2 |
org.checkerframework | checker-qual | 3.5.0 |
org.codehaus.jackson | jackson-core-asl | 1.9.13 |
org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
org.codehaus.janino | commons-compiler | 3.0.16 |
org.codehaus.janino | janino | 3.0.16 |
org.datanucleus | datanucleus-api-jdo | 4.2.4 |
org.datanucleus | datanucleus-core | 4.1.17 |
org.datanucleus | datanucleus-rdbms | 4.1.19 |
org.datanucleus | javax.jdo | 3.2.0-m3 |
org.eclipse.jetty | jetty-client | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-vervolg | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-http | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-io | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-jndi | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-plus | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-proxy | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-security | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-server | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-servlet | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-servlets | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-util | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-util-ajax | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-webapp | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-xml | 9.4.46.v20220331 |
org.eclipse.jetty.websocket | websocket-api | 9.4.46.v20220331 |
org.eclipse.jetty.websocket | websocket-client | 9.4.46.v20220331 |
org.eclipse.jetty.websocket | websocket-common | 9.4.46.v20220331 |
org.eclipse.jetty.websocket | websocket-server | 9.4.46.v20220331 |
org.eclipse.jetty.websocket | websocket-servlet | 9.4.46.v20220331 |
org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
org.glassfish.hk2 | hk2-api | 2.6.1 |
org.glassfish.hk2 | hk2-locator | 2.6.1 |
org.glassfish.hk2 | hk2-utils | 2.6.1 |
org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
org.glassfish.hk2.external | aopalliance opnieuw verpakt | 2.6.1 |
org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
org.glassfish.jersey.containers | jersey-container-servlet | 2.36 |
org.glassfish.jersey.containers | jersey-container-servlet-core | 2.36 |
org.glassfish.jersey.core | jersey-client | 2.36 |
org.glassfish.jersey.core | jersey-common | 2.36 |
org.glassfish.jersey.core | jersey-server | 2.36 |
org.glassfish.jersey.inject | jersey-hk2 | 2.36 |
org.hibernate.validator | sluimerstand-validator | 6.1.0.Final |
org.javassist | javassist | 3.25.0-GA |
org.jboss.logging | jboss-logging | 3.3.2.Final |
org.jdbi | jdbi | 2.63.1 |
org.jetbrains | Aantekeningen | 17.0.0 |
org.joda | joda-convert | 1,7 |
org.jodd | jodd-core | 3.5.2 |
org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
org.json4s | json4s-core_2.12 | 3.7.0-M11 |
org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
org.lz4 | lz4-java | 1.8.0 |
org.mariadb.jdbc | mariadb-java-client | 2.7.4 |
org.mlflow | mlflow-spark | 2.1.1 |
org.objenesis | objenesis | 2.5.1 |
org.postgresql | postgresql | 42.3.3 |
org.roaringbitmap | RoaringBitmap | 0.9.25 |
org.roaringbitmap | Shims | 0.9.25 |
org.rocksdb | rocksdbjni | 6.28.2 |
org.rosuda.REngine | REngine | 2.1.0 |
org.scala-lang | scala-compiler_2.12 | 2.12.14 |
org.scala-lang | scala-library_2.12 | 2.12.14 |
org.scala-lang | scala-reflect_2.12 | 2.12.14 |
org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
org.scala-sbt | test-interface | 1.0 |
org.scalacheck | scalacheck_2.12 | 1.14.2 |
org.scalactic | scalactic_2.12 | 3.0.8 |
org.scalanlp | breeze-macros_2.12 | 1.2 |
org.scalanlp | breeze_2.12 | 1.2 |
org.scalatest | scalatest_2.12 | 3.0.8 |
org.slf4j | jcl-over-slf4j | 1.7.36 |
org.slf4j | jul-to-slf4j | 1.7.36 |
org.slf4j | slf4j-api | 1.7.36 |
org.spark-project.spark | ongebruikt | 1.0.0 |
org.threeten | threeten-extra | 1.5.0 |
org.tukaani | xz | 1,9 |
org.typelevel | algebra_2.12 | 2.0.1 |
org.typelevel | katten-kernel_2.12 | 2.1.1 |
org.typelevel | macro-compat_2.12 | 1.1.1 |
org.typelevel | spire-macros_2.12 | 0.17.0 |
org.typelevel | spire-platform_2.12 | 0.17.0 |
org.typelevel | spire-util_2.12 | 0.17.0 |
org.typelevel | spire_2.12 | 0.17.0 |
org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
org.xerial | sqlite-jdbc | 3.8.11.2 |
org.xerial.snappy | snappy-java | 1.1.8.4 |
org.yaml | snakeyaml | 1,24 |
oro | oro | 2.0.8 |
pl.edu.icm | JLargeArrays | 1.5 |
software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
software.amazon.ion | ion-java | 1.0.2 |
stax | stax-api | 1.0.1 |