Databricks Runtime 14.2

  • Artikel

De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 14.2, mogelijk gemaakt door Apache Spark 3.5.0.

Databricks heeft deze afbeeldingen uitgebracht in november 2023.

Nieuwe functies en verbeteringen

CACHE SELECT wordt nu genegeerd

De SQL-opdracht CACHE SELECT wordt nu genegeerd ten gunste van een verbeterd cache-algoritme. Zie Prestaties optimaliseren met caching in Azure Databricks.

Verwerking van beschadigde bestanden in DML-opdrachten opgelost

De DML-opdrachten DELETE, UPDATEen MERGE INTO respecteren niet langer de leesopties ignoreCorruptFiles en ignoreMissingFiles. Wanneer u een onleesbaar bestand in een tabel tegenkomt, mislukken deze opdrachten, zelfs als deze opties zijn opgegeven.

U kunt nu de from_avrofuncties , to_avroen from_protobufto_protobuf Python gebruiken met Schema Registry in gedeelde clusters.

foreachBatch en StreamingListener ondersteuning

U kunt nu de foreachBatch() api's en StreamingListener API's gebruiken met Structured Streaming in gedeelde clusters. Zie ForeachBatch gebruiken om te schrijven naar willekeurige gegevenssinks en Structured Streaming-query's bewaken in Azure Databricks.

Gelijktijdigheid op rijniveau is algemeen beschikbaar en standaard ingeschakeld

Gelijktijdigheid op rijniveau vermindert conflicten tussen gelijktijdige schrijfbewerkingen door wijzigingen op rijniveau te detecteren. Gelijktijdigheid op rijniveau wordt alleen ondersteund voor tabellen zonder partitionering, waaronder tabellen met liquide clustering. Gelijktijdigheid op rijniveau is standaard ingeschakeld voor Delta-tabellen waarvoor verwijderingsvectoren zijn ingeschakeld. Zie Schrijfconflicten met gelijktijdigheid op rijniveau.

Delta delen: ontvangers kunnen batch-, CDF- en streamingquery's uitvoeren op gedeelde tabellen met verwijderingsvectoren (openbare preview)

Ontvangers van Delta Sharing kunnen nu batch-, CDF- en streamingquery's uitvoeren op gedeelde tabellen die gebruikmaken van verwijderingsvectoren. In Databricks Runtime 14.1 kunnen ze alleen batchquery's uitvoeren. Zie Tabellen met verwijderingsvectoren of kolomtoewijzing toevoegen aan een share, tabellen lezen met verwijderingsvectoren of kolomtoewijzing ingeschakeld, en Leestabellen met verwijderingsvectoren of kolomtoewijzing ingeschakeld.

Ondiepe kloon voor externe tabellen van Unity Catalog (openbare preview)

U kunt nu een ondiepe kloon gebruiken met externe tabellen van Unity Catalog. Zie Ondiepe kloon voor Unity Catalog-tabellen.

Toewijzingsalgoritmen voor nieuwe schijfcaching

De Spark Scheduler maakt nu gebruik van een nieuw algoritme voor schijfcaching. Het algoritme verbetert het schijfgebruik en de partitietoewijzing tussen knooppunten, met een snellere toewijzing, zowel in eerste instantie als na het schalen van clusters. Een plakkerige cachetoewijzing verbetert de consistentie tussen uitvoeringen en vermindert de verplaatsing van gegevens tijdens herverdelingsbewerkingen.

from_avro met de schemaregisterconnector wordt ondersteuning toegevoegd voor de ontwikkeling van schema's

U kunt nu instellen dat uw pijplijnen opnieuw worden opgestart wanneer er ontwikkelde records worden gedetecteerd. Als er eerder schemaontwikkeling met de from_avro connector is gebeurd, worden de nieuwe kolommen geretourneerd null. Zie Streaming Avro-gegevens lezen en schrijven.

Snellere verzameling statistieken met meerdere threads

Het verzamelen van statistieken is maximaal 10 keer sneller op kleine clusters bij het uitvoeren van CONVERTEREN NAAR DELTA of het klonen van Iceberg- en Parquet-tabellen. Zie Converteren naar Delta Lake en Parquet- en Iceberg-tabellen klonen.

Pushdownfilters in DeltaSource op Delta-bestanden

Voor een beter gebruik worden partitiefilters voor streamingquery's van Delta-tabellen nu naar Delta gepusht voordat de snelheidsbeperking wordt beperkt.

Ondersteuning voor scalaire door de gebruiker gedefinieerde functies op gedeelde clusters (openbare preview)

U kunt nu Scala scalaire door de gebruiker gedefinieerde functies gebruiken op clusters met Unity Catalog die zijn geconfigureerd met de modus voor gedeelde toegang. Zie door de gebruiker gedefinieerde scalaire functies - Scala.

Bibliotheekupgrades

  • Bijgewerkte Python-bibliotheken:
    • fastjsonschema van 2.18.0 tot 2.19.0
    • filelock van 3.12.3 tot 3.12.4
    • googleapis-common-protos van 1.60.0 tot 1.61.0
  • Bijgewerkte R-bibliotheken:
  • Bijgewerkte Java-bibliotheken:

Apache Spark

Databricks Runtime 14.2 bevat Apache Spark 3.5.0. Deze release bevat alle Spark-oplossingen en -verbeteringen die zijn opgenomen in Databricks Runtime 14.1, evenals de volgende aanvullende bugfixes en verbeteringen in Spark:

  • [SPARK-45592] [DBRRM-624] Herstel "[SC-146977][SQL] Juistheidsprobleem in AQE met InMemoryTableScanExec"
  • [SPARK-45524] [DBRRM-625] [SC-146319][PYTHON][SQL] Eerste ondersteuning f...
  • [SPARK-45433] [DBRRM-621] [SC-145163][SQL] Herstel deductie van CSV/JSON-schema...
  • [SPARK-45592] [SC-146977] [SQL] Probleem met juistheid in AQE met InMemoryTableScanExec
  • [SPARK-45354] [SC-143991][SQL] Functies bottom-up oplossen
  • [SPARK-45680] [TEST-ONLY] [SASP-2347] [VERBINDING MAKEN] Tests herstellen
  • [SPARK-45680] [VERBINDING MAKEN] Releasesessie
  • [SPARK-43380] [SC-146726] [ES-897115] [SQL] Vertraging in Avro-leesbewerking oplossen
  • [SPARK-45649] [SC-146742] [SQL] Het voorbereidingsframework samenvoegen voor OffsetWindowFunctionFrame
  • [SPARK-40820] [SC-146727] [PYTHON] [SQL] StructType maken vanuit Json
  • [SPARK-45620] [SC-146225] [PYTHON] Gebruikersgerichte API's met betrekking tot Python UDTF herstellen voor het gebruik van camelCase
  • [SPARK-45727] [SC-146978] [SS] Ongebruikte kaart verwijderen in watermerkdoorgiftesimulatie
  • [SPARK-45723] [SC-146890] [PYTHON] [VERBINDING MAKEN] Catalogusmethoden voorkomen pandas-conversie
  • [SPARK-45574] [SC-146106] [SQL] Toevoegen :: syntaxis als een afkorting voor cast-conversie
  • [SPARK-45670] [SC-146725] [CORE] [3.5] SparkSubmit biedt geen ondersteuning --total-executor-cores voor implementatie op K8s
  • [SPARK-45661] [SC-146594] [SQL] [PYTHON] ToNullable toevoegen in StructType, MapType en ArrayType
  • [SPARK-45524] [SC-146319] [PYTHON] [SQL] Initiële ondersteuning voor lees-API voor Python-gegevensbron
  • [SPARK-45542] [SC-145892] [CORE] Vervangen setSafeMode(HdfsConstants.SafeModeAction, boolean) door setSafeMode(SafeModeAction, boolean)
  • [SPARK-45652] [SC-146641] [SQL] SPJ: Lege invoerpartities verwerken na dynamisch filteren
  • [SPARK-45454] [SC-144846] [SQL] Stel de standaardeigenaar van de tabel in op current_user
  • [SPARK-45554] [SC-146875] [PYTHON] Een flexibele parameter introduceren voor assertSchemaEqual
  • [SPARK-45242] [SC-143410] [SQL] DataFrame-id gebruiken om CollectMetrics semantisch te valideren
  • [SPARK-45674] [SC-146862] [VERBINDING MAKEN] [PYTHON] Foutbericht verbeteren voor JVM-afhankelijke kenmerken in Spark Verbinding maken.
  • [SPARK-45646] [SC-146276] [SQL] Vaste tijdvariabelen vóór Hive 2.0 verwijderen
  • [SPARK-43380] [SC-146726] [ES-897115] [SQL] Vertraging in Avro-leesbewerking oplossen
  • [SPARK-45545] [SC-146484] [CORE] SSLOptions doorgeven waar we ook een SparkTransportConf maken
  • [SPARK-45641] [SC-146260] [UI] De begintijd van de toepassing weergeven op AllJobsPage
  • [SPARK-40154] [SC-146491] [Python] [Docs] Opslagniveau corrigeren in Dataframe.cache docstring
  • [SPARK-45626] [SC-146259] [SQL] _LEGACY_ERROR_TEMP_1055 converteren naar REQUIRES_SINGLE_PART_NAMESPACE
  • [SPARK-45507] [SC-145900] [SQL] Correctie voor geneste gecorreleerde scalaire subquery's met COUNT-aggregaties
  • [SPARK-45619] [SC-146226] [VERBINDING MAKEN] [PYTHON] De waargenomen metrische gegevens toepassen op observatieobject
  • [SPARK-45588] [SC-145909] [PROTOBUF] [VERBINDING MAKEN] [SECUNDAIR] Scaladoc-verbetering voor StreamingForeachBatchHelper
  • [SPARK-45616] [SC-146120] [CORE] Vermijd ParVector, dat ThreadLocals of SparkSession niet doorgeeft
  • [SPARK-45604] [SC-146105] [SQL] LogicalType-controle toevoegen voor INT64 -> Datum/tijd-conversie op Parquet Vectorized Reader
  • [SPARK-44649] [SC-145891] [SQL] Runtimefilter biedt ondersteuning voor het doorgeven van equivalente expressies aan de kant van het maken
  • [SPARK-41674] [SC-128408] [SQL] Runtimefilter moet ondersteuning bieden voor de join-zijde met meerdere niveaus als kant van het maken van filters
  • [SPARK-45547] [SC-146228] [ML] Vectoren valideren met ingebouwde functie
  • [SPARK-45558] [SC-145890] [SS] Een metagegevensbestand introduceren voor stateful streaming-operator
  • [SPARK-45618] [SC-146252] [CORE] BaseErrorHandler verwijderen
  • [SPARK-45638] [SC-146251] [SQL] [Avro] De testdekking van decimale conversie verbeteren
  • [SPARK-44837] [SC-146020] [SQL] Foutbericht ALTER TABLE ALTER PARTITION column
  • [SPARK-45561] [SC-146264] [SQL] Juiste conversies toevoegen voor TINYINT in MySQLDialect
  • [SPARK-45632] [SC-146255] [SQL] Tabelcache moet onnodige ColumnarToRow voorkomen bij het inschakelen van AQE
  • [SPARK-45569] [SC-145932] [SQL] Naam toewijzen aan de fout _LEGACY_ERROR_TEMP_2152
  • [SPARK-44784] [SC-141015] [VERBINDING MAKEN] Zorg ervoor dat SBT hermetisch test.
  • [SPARK-45452] [SC-144836] [SQL] Verbeteren InMemoryFileIndex voor het gebruik van FileSystem.listFiles API
  • [SPARK-44735] [SC-146186] [SQL] Waarschuwingsbericht toevoegen bij het invoegen van kolommen met dezelfde naam per rij die niet overeenkomen
  • [SPARK-45351] [SC-144791] [CORE] Standaardwaarde wijzigen spark.shuffle.service.db.backend in ROCKSDB
  • [SPARK-45553] [SC-145906] [PS] Afschaffing assertPandasOnSparkEqual
  • [SPARK-45613] [SC-146022] [CORE] DeterministicLevel beschikbaar maken als developerApi
  • [SPARK-45549] [SC-145895] [CORE] Ongebruikt verwijderen numExistingExecutors in CoarseGrainedSchedulerBackend
  • [SPARK-45609] [SC-146030] [VERBINDING MAKEN] SqlState opnemen in sparkThrowable proto-bericht
  • [SPARK-45595] [SC-146037] maak sqlstate beschikbaar in het foutbericht
  • [SPARK-45628] [SC-146123] [ML] Verbeteren vector_to_array voor .mllib.linalg.SparseVector
  • [SPARK-45009] [SC-145884] [SQL] [OPVOLGEN] Decorrelation uitschakelen in joinvoorwaarden voor AQE InSubquery-test
  • [SPARK-45576] [SC-145883] [CORE] Overbodige logboeken voor foutopsporing verwijderen in ReloadingX509TrustManagerSuite
  • [SPARK-45485] [SC-145719] [VERBINDING MAKEN] Verbeteringen aan de gebruikersagent: gebruik SPARK_CONNECT_USER_AGENT env-variabele en neem omgevingsspecifieke kenmerken op
  • [SPARK-45508] [SC-145513] [CORE] Voeg "–add-opens=java.base/jdk.internal.ref=ALL-UNNAMED" toe, zodat Platform toegang heeft tot Cleaner op Java 9+
  • [SPARK-45595] [SC-146037] SQLSTATE beschikbaar maken in foutbericht
  • [SPARK-45595] [SC-146037] SQLSTATE beschikbaar maken in foutbericht
  • [SPARK-45112] "[SC-143259][SQL] Use UnresolvedFunction ba...
  • [SPARK-45257] [SC-143411] [CORE] Standaard inschakelen spark.eventLog.compress
  • [SPARK-45586] [SC-145899] [SQL] De latentie van compilers voor plannen met grote expressiestructuren verminderen
  • [SPARK-45517] [SC-145691] [VERBINDING MAKEN] [14.x] Meer uitzonderingsconstructors uitvouwen ter ondersteuning van parameters voor het foutframework
  • [SPARK-45581] [SC-145896] Maak SQLSTATE verplicht.
  • [SPARK-45427] [SC-145590] [CORE] RPC SSL-instellingen toevoegen aan SSLOptions en SparkTransportConf
  • [SPARK-45261] [SC-143357] [CORE] Oplossing EventLogFileWriters voor afhandeling none als codec
  • [SPARK-45582] [SC-145897] [SS] Zorg ervoor dat het archiefexemplaren niet worden gebruikt na het aanroepen van doorvoer binnen streamingaggregatie in de uitvoermodus
  • [SPARK-45562] [SC-145720] [SC-144650] [SQL] XML: Een vereiste optie 'rowTag' maken
  • [SPARK-45392] [SC-144362] [CORE] [SQL] [SS] Vervangen Class.newInstance() door Class.getDeclaredConstructor().newInstance()
  • [SPARK-45433] [SC-145163] [SQL] Csv-/JSON-schemadeductie herstellen wanneer tijdstempels niet overeenkomen met de opgegeven timestampFormat
  • [SPARK-45458] [SC-145011] [SQL] IllegalArgumentException converteren naar SparkIllegalArgumentException in bitwiseExpressions
  • [SPARK-45564] [SC-145735] [SQL] Vereenvoudig DataFrameStatFunctions.bloomFilter met de expressie BloomFilterAggregate
  • [SPARK-45566] [SC-145777] [PS] Ondersteuning voor Pandas-achtige testhulpmiddelen voor Pandas-API in Spark
  • [SPARK-45498] [SC-145509] [CORE] Opvolgen: Taakvoltooiing negeren vanuit een oude fase a...
  • [SPARK-45483] [SC-145152] [VERBINDING MAKEN] Corrigeer de functiegroepen in connect.functions
  • [SPARK-45577] [SC-145781] [PYTHON] UserDefinedPythonTableFunctionAnalyzeRunner herstellen om gevouwen waarden van benoemde argumenten door te geven
  • [SPARK-45009] [SC-138223] [OPVOLGEN] Decorrelation uitschakelen in joinvoorwaarden voor AetherSQLQuerySuite
  • [SPARK-45415] [SC-145344] Selectief uitschakelen van 'fallocate' in RocksDB-statestore toestaan
  • [SPARK-45500] [SC-145134] [CORE] [WEBUI] Het aantal abnormaal voltooide stuurprogramma's weergeven in MasterPage
  • [SPARK-44120] [SC-144349] [PYTHON] Ondersteuning voor Python 3.12
  • [SPARK-45439] [SC-145589] [SQL] [UI] Geheugengebruik van LiveStageMetrics.accumIdsToMetricType verminderen
  • [SPARK-45565] [SC-145717] [UI] Onnodige JSON.stringify en JSON.parse-lus voor takenlijst op fasedetails
  • [SPARK-45567] [SC-145718] [VERBINDING MAKEN] Verwijder redundant indien in org.apache.spark.sql.connect.execution.ExecuteGrpcResponseSender#run
  • [SPARK-45112] [SC-143259] [SQL] Oplossing op basis van UnresolvedFunction gebruiken in SQL Dataset-functies
  • [SPARK-45486] [SASP-2457] [SC-145612] [VERBINDING MAKEN] Add_artifact idempotent aanvragen
  • [SPARK-44913] [SC-144326] [SQL] DS V2 ondersteunt push down V2 UDF met magic-methode
  • [SPARK-45538] [SC-145635] [PYTHON] [CONNECT]pyspark connect overwrite_partitions bug
  • [SPARK-45491] [SC-145622] Ontbrekende SQLSTATES 2/2 toevoegen
  • [SPARK-45009] [SC-145620] [SC-138223] [SQL] Decorrelate predicaat subquery's in join-voorwaarde
  • [SPARK-45377] [SC-144377] [CORE] InputStream verwerken in NettyLogger
  • [SPARK-45248] [SC-143759] [CORE] De time-out voor spark ui-server instellen
  • [SPARK-44594] [SC-145611] [SS] De parameter redundante methode verwijderen in kafka-connector
  • [SPARK-45539] [SC-145621] [SS] Assert en logboek toevoegen om aan te geven dat de definitie van het watermerk is vereist voor streamingaggregatiequery's in de toevoegmodus
  • [SPARK-44262] [SC-145639] [SQL] Toevoegen dropTable en getInsertStatement aan JdbcDialect
  • [SPARK-45516] [SC-145480] [VERBINDING MAKEN] QueryContext opnemen in sparkThrowable proto-bericht
  • [SPARK-45310] [SC-145127] [CORE] De status van het rapport shuffle-blok moet de shuffle-service respecteren tijdens het buiten gebruik stellen van de migratie
  • [SPARK-45521] [SC-145487] [ML] Vermijd herberekening van nnz in VectorAssembler
  • [SPARK-45418] [SC-145485] [SQL] [PYTHON] [VERBINDING MAKEN] De kolomalias current_database() wijzigen in current_schema()
  • [SPARK-45116] [SC-145142] [SQL] Opmerking toevoegen voor param van JdbcDialect createTable
  • [SPARK-45495] [SC-145529] [kern] Taakresourceprofiel op faseniveau voor k8s-cluster ondersteunen wanneer dynamische toewijzing is uitgeschakeld
  • [SPARK-45487] [SC-145559] SQLSTATEs en tijdelijke fouten oplossen
  • [SPARK-45505] [SC-145550] [PYTHON] AnalyzeInPython herstructureren om deze herbruikbaar te maken
  • [SPARK-45132] [SC-145425] [SQL] Id herstellen voor functie-aanroep
  • [SPARK-45213] [SC-145020] [SQL] Naam toewijzen aan de fout _LEGACY_ERROR_TEMP_2151
  • [SPARK-45416] [SC-145126] [VERBINDING MAKEN] Consistentie van sanitycontrole van pijlresultaten
  • [SPARK-45163] [SC-143386] [SQL] Samenvoegen UNSUPPORTED_VIEW_OPERATION &UNSUPPORTED_TABLE_OPERATION en een probleem oplossen
  • [SPARK-45421] [SC-144814] [SQL] Catch AnalysisException via InlineCTE
  • [SPARK-43664] [SC-145404] [VERBINDING MAKEN] [PS] Uitzondering genereren voor ps.sql Pandas-on-Spark-object in Spark Verbinding maken.
  • [SPARK-45402] [SC-145371] [SQL] [PYTHON] UDTF-API toevoegen voor methoden 'eval' en 'terminate' om het vorige analyseresultaat te gebruiken
  • [SPARK-36112] [SC-67885] [SQL] Ondersteuning voor gecorreleerde EXISTS- en IN-subquery's met behulp van DecorrelateInnerQuery-framework
  • [SPARK-45383] [SC-144929] [SQL] Foutbericht opgelost voor tijdreizen met niet-bestaande tabel
  • [SPARK-43254] [SC-143318] [SQL] Een naam toewijzen aan de fout _LEGACY_ERROR_TEMP_2018
  • [SPARK-45204] [SC-145167] [VERBINDING MAKEN] Optionele ExecuteHolder toevoegen aan Spark Verbinding maken Planner
  • [SPARK-45451] [SC-145144] [SQL] Het standaardopslagniveau van de gegevenssetcache configureren
  • [SPARK-45192] [SC-143194] [UI] De parameter overdubbele lineInterpolate voor graphviz edge herstellen
  • [SPARK-45467] [SC-145146] [CORE] Vervangen Proxy.getProxyClass() door Proxy.newProxyInstance().getClass
  • [SPARK-45397] [SC-145139] [ML] [VERBINDING MAKEN] Functietransformatie voor matrixassembly's toevoegen
  • [SPARK-44855] [SC-145226] [VERBINDING MAKEN] Kleine aanpassingen voor het koppelen van ExecuteGrpcResponseSender aan ExecuteResponseObserver
  • [SPARK-45398] [SC-144796] [SQL] sql() Toevoegen ESCAPE aan de Like expressie
  • [SPARK-45494] [SC-145129] [CORE] [PYTHON] Hulpprogrammafuncties introduceren voor het lezen/schrijven van een bytematrix voor PythonWorkerUtils
  • [SPARK-45464] [SC-145125] [CORE] Build voor netwerkgarendistributie herstellen
  • [SPARK-45461] [SC-144851] [CORE] [SQL] [MLLIB] Een mapper introduceren voor StorageLevel
  • [SPARK-45450] [SC-145009] [PYTHON] Import herstellen volgens PEP8: pyspark.pandas en pyspark (kern)
  • [SPARK-45475] [SC-145018] [SQL] Gebruikt DataFrame.foreachPartition in plaats van RDD.foreachPartition in JdbcUtils
  • [SPARK-45271] [SC-143778] [SQL] Voeg _LEGACY_ERROR_TEMP_1113 samen in TABLE_OPERATION en verwijder een ongebruikte methode in QueryCompilationErrors
  • [SPARK-45449] [SC-145013] [SQL] Probleem met ongeldige cache met JDBC-tabel
  • [SPARK-45473] [SC-145017] [SQL] Onjuist foutbericht voor RoundBase oplossen
  • [SPARK-43299] [SC-145022] [SS] [VERBINDING MAKEN] StreamingQueryException converteren in Scala-client
  • [SPARK-45474] [SC-145014] [CORE] [WEBUI] Ondersteuning voor filteren op het hoogste niveau in de JSON-API van MasterPage
  • [SPARK-45205] [SC-145012] [SQL] CommandResultExec om iteratormethoden te overschrijven om te voorkomen dat meerdere taken worden geactiveerd.
  • [SPARK-45472] [SC-145004] [SS] RocksDB State Store hoeft het bestaan van het controlepuntpad niet opnieuw te controleren
  • [SPARK-45470] [SC-145010] [SQL] Plak tekenreekswaarde van hive orc-compressietype voorkomen
  • [SPARK-45448] [SC-144829] [PYTHON] Import herstellen volgens PEP8: pyspark.testing, pyspark.mllib, pyspark.resource en pyspark.streaming
  • [SPARK-45446] [SC-144828] [PYTHON] Invoer corrigeren volgens PEP8: pyspark.errors en pyspark.ml
  • [SPARK-45239] [SC-144832] [VERBINDING MAKEN] Standaard spark.connect.jvmStacktrace.maxSize verminderen
  • [SPARK-45436] [SC-144831] [PYTHON] [VERBINDING MAKEN] DataFrame-methoden controleren dezelfde sessie
  • [SPARK-45413] [SC-144847] [CORE] Waarschuwing toevoegen voor ondersteuning voor drop LevelDB
  • [SPARK-45462] [SC-144848] [CORE] [WEBUI] Weergeven Duration in ApplicationPage
  • [SPARK-44527] [SC-144855] [SQL] ScalarSubquery vervangen door null als de maxRows 0 is
  • [SPARK-45401] [SC-144854] [PYTHON] Een nieuwe methode cleanup toevoegen in de UDTF-interface
  • [SPARK-43704] [SC-144849] [VERBINDING MAKEN] [PS] Ondersteuning MultiIndex voor to_series()
  • [SPARK-45424] [SC-144888] [SQL] Fix TimestampFormatter retourneert optionele parseringsresultaten wanneer alleen het voorvoegsel overeenkomt
  • [SPARK-45441] [SC-144833] [PYTHON] Meer hulpprogrammafuncties introduceren voor PythonWorkerUtils
  • [SPARK-45412] [SC-144803] [PYTHON] [VERBINDING MAKEN] Het plan en de sessie valideren in DataFrame.__init__
  • [SPARK-45408] [SC-144810] [CORE] RPC SSL-instellingen toevoegen aan TransportConf
  • [SPARK-45432] [SC-144818] [CORE] Afgeschafte Hadoop-2-constructor LocatedFileStatus verwijderen
  • [SPARK-45434] [SC-144819] [ML] [VERBINDING MAKEN] LogisticRegression controleert de trainingslabels
  • [SPARK-45420] [SC-144808] [SQL] [PYTHON] [VERBINDING MAKEN] DataType.fromDDL toevoegen aan PySpark
  • [SPARK-45406] [SC-144793] [PYTHON] [VERBINDING MAKEN] Verwijderen schema uit DataFrame-constructor
  • [SPARK-45404] [SC-144799] [CORE] Ondersteuning voor AWS_ENDPOINT_URL env-variabele
  • [SPARK-43620] [SC-144792] [VERBINDING MAKEN] [PS] Pandas-API's herstellen is afhankelijk van niet-ondersteunde functies
  • [SPARK-45354] [SC-143991] [SQL] Functies bottom-up oplossen
  • [SPARK-45394] [SASP-1480] [SC-144712] [PYTHON] [VERBINDING MAKEN] Voeg nieuwe pogingen toe voor artefact-API. Foutafhandeling verbeteren (opvolgen tot [SPARK-45093]).
  • [SPARK-45120] [SC-142780] [SPARK-45150] [UI] Upgrade d3 van v3 naar v7(v7.8.5) en pas API-wijzigingen toe in de gebruikersinterface
  • [SPARK-44838] [SC-143983] [SQL] raise_error verbetering
  • [SPARK-45312] [SC-143754] [SQL] [UI] Ondersteuning voor het in-/uitschakelen van plan-svg op de uitvoeringspagina
  • [SPARK-45378] [SC-144448] [CORE] ConvertToNettyForSsl toevoegen aan ManagedBuffer
  • [SPARK-44762] [SC-144338] [VERBINDING MAKEN] [CORE] Doc voor Spark Verbinding maken.addJobTag en Verbinding maken SparkSession.addTag
  • [SPARK-45383] Niet-opgeloste RelationTimeTravel probleemloos verwerken
  • [SPARK-45347] [SC-144512] [SQL] [VERBINDING MAKEN] SparkThrowable opnemen in FetchErrorDetailsResponse
  • [SPARK-45012] [SC-141512] [SQL] CheckAnalysis moet inlined plan in AnalysisException gooien
  • [SPARK-45359] [SC-144336] [PYTHON] [VERBINDING MAKEN] DataFrame.{columns, colRegex, explain} moet uitzonderingen genereren wanneer het plan ongeldig is
  • [SPARK-45227] [SC-144233] [CORE] Een subtiel thread-veiligheidsprobleem met CoarseGrainedExecutorBackend oplossen
  • [SPARK-45266] [SC-144171] [PYTHON] Refactor ResolveFunctions analyzer rule to delay making lateral join when table arguments are used
  • [SPARK-45266] Revert "[SC-144171][PYTHON] Refactor ResolveFunctions analyzer rule to delay making lateral join when table arguments are used"
  • [SPARK-45371] [SC-144389] [VERBINDING MAKEN] Arceringsproblemen in de Spark Verbinding maken Scala-client oplossen
  • [SPARK-45057] [SC-144214] [CORE] Voorkom leesvergrendeling wanneer keepReadLock onwaar is
  • [SPARK-45385] [SC-144357] [SQL] Afschaffing spark.sql.parser.escapedStringLiterals
  • [SPARK-45340] [SC-143917] [SQL] De SQL-configuratie verwijderen spark.sql.hive.verifyPartitionPath
  • [SPARK-45266] [SC-144171] [PYTHON] Refactor ResolveFunctions analyzer rule to delay making lateral join when table arguments are used
  • [SPARK-45362] [SC-144198] [PYTHON] Partition by-expressies uit projecteren voordat de Python UDTF-methode 'eval' deze gebruikt
  • [SPARK-45346] [SC-143925] [SQL] Parquet-schemadeductie moet hoofdlettergevoelige vlag respecteren bij het samenvoegen van het schema
  • [SPARK-45341] [SC-143933] [CORE] Corrigeer het titelniveau in de opmerkingen van KVStore.java om te worden sbt doc uitgevoerd met Java 17
  • [SPARK-45334] [SC-143914] [SQL] Misleidende opmerking verwijderen in parquetSchema Converter
  • [SPARK-45337] [SC-143932] [CORE] Herstructureren AbstractCommandBuilder#getScalaVersion om de controle voor Scala 2.12 te verwijderen
  • [SPARK-45329] [SC-143918] [PYTHON] [VERBINDING MAKEN] DataFrame-methoden slaan pandas-conversie over
  • [SPARK-43662] [SC-143923] [PS] [VERBINDING MAKEN] Ondersteuning voor merge_asof in Spark-Verbinding maken
  • [SPARK-44126] [SC-143751] [CORE] Aantal mislukte migraties in willekeurige volgorde mag niet toenemen wanneer het doelexecutor buiten gebruik is gesteld
  • [SPARK-44550] [SC-119768] [SQL] Corrigerende oplossingen inschakelen voor null IN (empty list) onder ANSI
  • [SPARK-45316] [SC-143783] [CORE] [SQL] Nieuwe parameters ignoreCorruptFiles/ignoreMissingFiles toevoegen aan HadoopRDD en NewHadoopRDD
  • [SPARK-45093] [SC-143414] [VERBINDING MAKEN] [PYTHON] Foutrapportage voor addArtifacts-query
  • [SPARK-44756] [SC-143787] [CORE] Executor loopt vast wanneer RetryingBlockTransferor niet kan worden gestart
  • [SPARK-45333] [SC-143768] [CORE] Eén eenheidsfout oplossen met betrekking tot spark.eventLog.buffer.kb
  • [SPARK-45317] [SC-143750] [SQL] [VERBINDING MAKEN] Null-bestandsnaam verwerken in stacktraceringen van uitzonderingen
  • [SPARK-45191] [SC-143407] [SQL] InMemoryTableScanExec simpleStringWithNodeId voegt kolomgegevens toe
  • [SPARK-45235] [SC-143314] [VERBINDING MAKEN] [PYTHON] Ondersteuning voor kaart- en matrixparameters op sql()
  • [SPARK-45138] [SC-143309] [SS] Definieer een nieuwe foutklasse en pas deze toe wanneer de status van het controlepunt op DFS mislukt
  • [SPARK-45297] [SC-143644] [SQL] Tijdelijke oplossing verwijderen voor datumopmaak die is toegevoegd in SPARK-31827
  • [SPARK-44345] [SC-143593] [CORE] Lager unknown shuffle map output logboekniveau om TE WAARSCHUWEN als migratie in willekeurige volgorde is ingeschakeld
  • [SPARK-44463] [SC-143251] [SS] [VERBINDING MAKEN] Foutafhandeling verbeteren voor Verbinding maken stomende Python-werkrol
  • [SPARK-45207] [SC-143603] [SQL] [VERBINDING MAKEN] Foutverrijking implementeren voor Scala-client
  • [SPARK-45240] [SC-143602] [SQL] [VERBINDING MAKEN] Foutverrijking implementeren voor Python-client
  • [SPARK-45216] [SC-143288] [SQL] Niet-deterministische seeded Dataset-API's herstellen
  • [SPARK-45251] [SC-143419] [VERBINDING MAKEN] Client_type veld toevoegen voor FetchErrorDetails
  • [SPARK-45137] [SC-143001] [VERBINDING MAKEN] Ondersteuning voor kaart-/matrixparameters in geparameteriseerde sql()
  • [SPARK-45224] [SC-143257] [PYTHON] Voorbeelden toevoegen met toewijzing en matrix als parameters van sql()
  • [SPARK-44622] [SC-143205] [SQL] [VERBINDING MAKEN] FetchErrorDetails RPC implementeren
  • [SPARK-45178] [SC-136089] Terugval om één batch uit te voeren voor Trigger.AvailableNow met niet-ondersteunde bronnen in plaats van wrapper te gebruiken
  • [SPARK-44823] [14.x] [SC-142979] [PYTHON] Zwart bijwerken naar 23.9.1 en fixerroneous controle
  • [SPARK-45078] [SC-142954] [SQL] Fix array_insert ImplicitCastInputTypes werkt niet
  • [SPARK-44579] [SC-138428] [SQL] Ondersteuning onderbreken bij annuleren in SQLExecution
  • [SPARK-45252] [SC-143371] [CORE] Escape the greater/less than symbols in the comments to make sbt doc successfully
  • [SPARK-45189] [SC-142973] [SQL] UnresolvedRelation van TableIdentifier moet het catalogusveld bevatten
  • [SPARK-45229] [SC-143254] [CORE] [UI] Het aantal stuurprogramma's weergeven dat wacht in de status VERZONDen in MasterPage
  • [SPARK-43453] Herstel "[SC-143135][PS] Negeren van namesMultiIndex wanneer axis=1 voor concat"

Ondersteuning voor Databricks ODBC-/JDBC-stuurprogramma's

Databricks ondersteunt ODBC-/JDBC-stuurprogramma's die in de afgelopen 2 jaar zijn uitgebracht. Download de onlangs uitgebrachte stuurprogramma's en upgrade (download ODBC, download JDBC).

Systeemomgeving

  • Besturingssysteem: Ubuntu 22.04.3 LTS
  • Java: Zulu 8.72.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.3.1
  • Delta Lake: 3.0.0

Geïnstalleerde Python-bibliotheken

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-bindingen 21.2.0
asttokens 2.0.5 attrs 22.1.0 backcall 0.2.0
beautifulsoup4 4.11.1 zwart 22.6.0 Bleekmiddel 4.1.0
knipperen 1.4 boto3 1.24.28 botocore 1.27.96
certifi 2022.12.7 Cffi 1.15.1 Chardet 4.0.0
charset-normalizer 2.0.4 klikken 8.0.4 comm 0.1.2
contourpy 1.0.5 Cryptografie 39.0.1 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.1.6 dbus-python 1.2.18
foutopsporing 1.6.7 Decorator 5.1.1 defusedxml 0.7.1
distlib 0.3.7 docstring-to-markdown 0,11 invoerpunten 0,4
Uitvoeren 0.8.3 facets-overview 1.1.1 fastjsonschema 2.19.0
filelock 3.12.4 Fonttools 4.25.0 googleapis-common-protos 1.61.0
grpcio 1.48.2 grpcio-status 1.48.1 httplib2 0.20.2
idna 3.4 importlib-metadata 4.6.4 ipykernel 6.25.0
Ipython 8.14.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
Jedi 0.18.1 Jeepney 0.7.1 Jinja2 3.1.2
jmespath 0.10.0 joblib 1.2.0 jsonschema 4.17.3
jupyter-client 7.3.4 jupyter-server 1.23.4 jupyter_core 5.2.0
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 Keyring 23.5.0
kiwisolver 1.4.4 Launchpadlib 1.10.16 lazr.restfulclient 0.14.4
Lazr.uri 1.0.6 Lxml 4.9.1 MarkupSafe 2.1.1
matplotlib 3.7.0 matplotlib-inline 0.1.6 Mccabe 0.7.0
mistune 0.8.4 more-itertools 8.10.0 mypy-extensions 0.4.3
nbclassic 0.5.2 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 nodeenv 1.8.0
notebook 6.5.2 notebook_shim 0.2.2 Numpy 1.23.5
oauthlib 3.2.0 Verpakking 22,0 Pandas 1.5.3
pandocfilters 1.5.0 parso 0.8.3 pathspec 0.10.3
Patsy 0.5.3 Pexpect 4.8.0 pickleshare 0.7.5
Kussen 9.4.0 Pip 22.3.1 platformdirs 2.5.2
plotly 5.9.0 pluggy 1.0.0 prometheus-client 0.14.1
prompt-toolkit 3.0.36 protobuf 4.24.0 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pyarrow-hotfix 0,4 pycparser 2.21
pydantic 1.10.6 Pyflakes 3.1.0 Pygments 2.11.2
Pygobject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
Pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 python-lsp-server 1.8.0
pytoolconfig 1.2.5 pytz 2022.7 pyzmq 23.2.0
requests 2.28.1 Touw 1.7.0 s3transfer 0.6.2
scikit-learn 1.1.1 Scipy 1.10.0 seaborn 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 Setuptools 65.6.3
Zes 1.16.0 sniffio 1.2.0 soepsieve 2.3.2.post1
ssh-import-id 5,11 stack-data 0.2.0 statsmodels 0.13.5
Vasthoudendheid 8.1.0 terminado 0.17.1 threadpoolctl 2.2.0
tinycss2 1.2.1 tokenize-rt 4.2.1 tomli 2.0.1
Tornado 6.1 traitlets 5.7.1 typing_extensions 4.4.0
ujson 5.4.0 upgrades zonder toezicht 0,1 urllib3 1.26.14
Virtualenv 20.16.7 Wadllib 1.3.6 wcwidth 0.2.5
webencodings 0.5.1 websocket-client 0.58.0 whatthepatch 1.0.2
Wiel 0.38.4 widgetsnbextension 3.6.1 yapf 0.33.0
zipp 1.0.0

Geïnstalleerde R-bibliotheken

R-bibliotheken worden geïnstalleerd vanuit de Posit Pakketbeheer CRAN-momentopname op 2023-02-10.

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
pijl 12.0.1 Askpass 1.1 assertthat 0.2.1
Backports 1.4.1 base 4.3.1 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob 1.2.4
opstarten 1.3-28 Brouwsel 1.0-8 Brio 1.1.3
Bezem 1.0.5 bslib 0.5.0 cachem 1.0.8
beller 3.7.3 caret 6.0-94 cellranger 1.1.0
Chron 2.3-61 class 7.3-22 cli 3.6.1
clipr 0.8.0 Klok 0.7.0 cluster 2.1.4
Codetools 0.2-19 Colorspace 2.1-0 commonmark 1.9.0
Compiler 4.3.1 configuratie 0.3.1 Strijd 1.2.0
cpp11 0.4.4 Crayon 1.5.2 aanmeldingsgegevens 1.3.2
curl 5.0.1 data.table 1.14.8 gegevenssets 4.3.1
DBI 1.1.3 dbplyr 2.3.3 Desc 1.4.2
Devtools 2.4.5 Diagram 1.6.5 diffobj 0.3.5
Digest 0.6.33 downlit 0.4.3 dplyr 1.1.2
dtplyr 1.3.1 e1071 1.7-13 ellipsis 0.3.2
evaluate 0.21 fansi 1.0.4 farver 2.1.1
fastmap 1.1.1 fontawesome 0.5.1 forcats 1.0.0
foreach 1.5.2 Buitenlandse 0.8-82 Forge 0.2.0
Fs 1.6.2 Toekomst 1.33.0 future.apply 1.11.0
Gorgelen 1.5.1 Generics 0.1.3 Gert 1.9.2
ggplot2 3.4.2 Gh 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 Globals 0.16.2 Lijm 1.6.2
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
afbeeldingen 4.3.1 grDevices 4.3.1 Raster 4.3.1
gridExtra 2.3 gsubfn 0,7 gtable 0.3.3
hardhat 1.3.0 haven 2.5.3 highr 0.10
Hms 1.1.3 htmltools 0.5.5 htmlwidgets 1.6.2
httpuv 1.6.11 httr 1.4.6 httr2 0.2.3
ids 1.0.1 Ini 0.3.1 Ipred 0.9-14
isoband 0.2.7 Iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 Kernsmooth 2.23-21 breiwerk 1,43
Labeling 0.4.2 Later 1.3.1 Lattice 0.21-8
lava 1.7.2.1 levenscyclus 1.0.3 listenv 0.9.0
lubridate 1.9.2 magrittr 2.0.3 Markdown 1,7
MASS 7.3-60 Matrix 1.5-4.1 memoise 2.0.1
methoden 4.3.1 Mgcv 1.8-42 Mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modeller 0.1.11
munsell 0.5.0 Nlme 3.1-162 Nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.0.6 parallel 4.3.1
parallel 1.36.0 Pijler 1.9.0 pkgbuild 1.4.2
Pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 plyr 1.8.8 Lof 1.0.0
prettyunits 1.1.1 Proc 1.18.4 processx 3.8.2
prodlim 2023.03.31 profvis 0.3.8 Voortgang 1.2.2
progressr 0.13.0 Beloften 1.2.0.1 Proto 1.0.0
Proxy 0.4-27 ps 1.7.5 Purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
Rcolorbrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
leesbewerking 2.1.4 readxl 1.4.3 recepten 1.0.6
Rematch 1.0.1 opnieuw overeenkomen2 2.1.2 Afstandsbedieningen 2.4.2
reprex 2.0.2 hervorm2 1.4.4 rlang 1.1.1
rmarkdown 2.23 RODBC 1.3-20 roxygen2 7.2.3
Rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversions 2.1.2
rvest 1.0.3 Sass 0.4.6 Schalen 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 Vorm 1.4.6
Glanzende 1.7.4.1 sourcetools 0.1.7-1 sparklyr 1.8.1
Ruimtelijke 7.3-15 Splines 4.3.1 sqldf 0.4-11
SQUAREM 2021.1 Stats 4.3.1 stats4 4.3.1
stringi 1.7.12 stringr 1.5.0 Overleving 3.5-5
sys 3.4.2 systemfonts 1.0.4 Tcltk 4.3.1
testthat 3.1.10 tekstvorm 0.3.6 tibble 3.2.1
tidyr 1.3.0 tidyselect 1.2.0 tidyverse 2.0.0
timechange 0.2.0 Timedate 4022.108 tinytex 0,45
tools 4.3.1 tzdb 0.4.0 urlchecker 1.0.1
usethis 2.2.2 utf8 1.2.3 utils 4.3.1
uuid 1.1-0 vctrs 0.6.3 viridisLite 0.4.2
Vroom 1.6.3 Waldo 0.5.1 whisker 0.4.1
withr 2.5.0 xfun 0,39 xml2 1.3.5
xopen 1.0.0 xtable 1.8-4 Yaml 2.3.7
Zip 2.3.0

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)

Groeps-id Artefact-id Versie
Antlr Antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics Stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.7.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-gearceerd 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Klasgenoot 1.3.4
com.fasterxml.jackson.core jackson-annotaties 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.cafeïne Cafeïne 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink Tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava Guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profiler 1.1.1
com.jcraft Jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuratie 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.netje.netlib Arpack 3.0.3
dev.netje.netlib Blas 3.0.3
dev.netje.netlib Lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.25
io.delta delta-sharing-client_2.12 1.0.2
io.dropwizard.metrics metrische aantekening 4.2.19
io.dropwizard.metrics metrische gegevenskern 4.2.19
io.dropwizard.metrics metrische gegevensgrafiet 4.2.19
io.dropwizard.metrics metrische statuscontroles 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-sokken 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Collector 0.12.0
jakarta.annotatie jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activering 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction Jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
Jline Jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine Augurk 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-CSV 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr Stringtemplate 3.2.1
org.apache.ant ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow pijlnotatie 12.0.1
org.apache.arrow arrow-memory-core 12.0.1
org.apache.arrow arrow-memory-netty 12.0.1
org.apache.arrow pijlvector 12.0.1
org.apache.avro Avro 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recepten 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy Ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.9.1-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.1-shaded-protobuf
org.apache.orc orc-shims 1.9.1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-gearceerd 4.23
org.apache.yetus aantekeningen voor doelgroepen 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-vervolg 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance opnieuw verpakt 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator sluimerstand-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist Javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Aantekeningen 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.9
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap Shims 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.9.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatibel 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.threeten threeten-extra 1.7.1
org.tukaani Xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel katten-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
Oro Oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1