Delen via

Databricks Runtime 14.2 (EoS)

Notitie

Ondersteuning voor deze Databricks Runtime-versie is beëindigd. Zie de geschiedenis van einde van ondersteuning voor de einddatum van de ondersteuning. Zie versieopmerkingen en compatibiliteit van Databricks Runtime voor alle ondersteunde Databricks Runtime-versies.

De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 14.2, mogelijk gemaakt door Apache Spark 3.5.0.

Databricks heeft deze versie uitgebracht in november 2023.

Nieuwe functies en verbeteringen

CACHE SELECT wordt nu genegeerd

De SQL-opdracht CACHE SELECT wordt nu genegeerd ten gunste van een verbeterd cache-algoritme. Zie Prestaties optimaliseren met caching in Azure Databricks.

Verbeterd cachegedrag

De plaatsing van DiskCache door de Spark Scheduler heeft nu een snellere partitietoewijzing, betere taakverdeling tijdens automatische schaalaanpassing van clusters en consistentere queryuitvoering.

Verwerking van beschadigde bestanden in DML-opdrachten opgelost

De DML-opdrachten DELETE, UPDATEen MERGE INTO respecteren niet langer de leesopties ignoreCorruptFiles en ignoreMissingFiles. Wanneer u een onleesbaar bestand in een tabel tegenkomt, mislukken deze opdrachten, zelfs als deze opties zijn opgegeven.

U kunt nu de from_avrofuncties , to_avroen from_protobufto_protobuf Python gebruiken met Schema Registry in gedeelde clusters.

Ondersteuning van foreachBatch en StreamingListener

U kunt nu de foreachBatch() api's en StreamingListener API's gebruiken met Structured Streaming in gedeelde clusters. Zie ForeachBatch gebruiken om naar willekeurige gegevensopslagpunten te schrijven en Structured Streaming-query's monitoren in Azure Databricks.

Gelijktijdigheid op rijniveau is algemeen beschikbaar en standaard ingeschakeld

Gelijktijdigheid op rijniveau vermindert conflicten tussen gelijktijdige schrijfbewerkingen door wijzigingen op rijniveau te detecteren. Gelijktijdigheid op rijniveau wordt alleen ondersteund voor tabellen zonder partitionering, waaronder tabellen met liquide clustering. Gelijktijdigheid op rijniveau is standaard ingeschakeld voor Delta-tabellen waarvoor verwijderingsvectoren zijn ingeschakeld. Zie Schrijfconflicten met gelijktijdigheid op rijniveau.

Delta delen: ontvangers kunnen batch-, CDF- en streamingquery's uitvoeren op gedeelde tabellen met verwijderingsvectoren (openbare preview)

Ontvangers van Delta Sharing kunnen nu batch-, CDF- en streamingquery's uitvoeren op gedeelde tabellen die gebruikmaken van verwijderingsvectoren. In Databricks Runtime 14.1 kunnen ze alleen batchquery's uitvoeren. Zie Tabellen met verwijderingsvectoren of kolomtoewijzing toevoegen aan een share, Tabellen lezen met verwijderingsvectoren of kolomtoewijzing ingeschakeld, en Tabellen lezen met verwijderingsvectoren of kolomtoewijzing ingeschakeld.

Ondiepe kloon voor externe tabellen van Unity Catalog (openbare preview)

U kunt nu een ondiepe kloon gebruiken met externe tabellen van Unity Catalog. Zie Ondiepe kloon voor Unity Catalog-tabellen.

Nieuwe toewijzingsalgoritme voor schijfcaching

De Spark Scheduler maakt nu gebruik van een nieuw algoritme voor schijfcaching. Het algoritme verbetert het schijfgebruik en de partitietoewijzing tussen knooppunten, met een snellere toewijzing, zowel in eerste instantie als na het schalen van clusters. Stickiere cachetoewijzing verbetert de consistentie tussen uitvoeringen en vermindert het verplaatsen van gegevens tijdens herverdeling van workloads.

from_avro met de schemaregisterconnector wordt ondersteuning toegevoegd voor de ontwikkeling van schema's

U kunt nu instellen dat uw pijplijnen opnieuw worden opgestart wanneer er veranderde records worden gedetecteerd. Eerder werden, als er schemaontwikkeling met de from_avro connector plaatsvond, de nieuwe kolommen als null geretourneerd. Zie Streaming Avro-gegevens lezen en schrijven.

Snellere verzameling statistieken met meerdere threads

Statistieken verzamelen is tot 10 keer sneller op kleine clusters bij het uitvoeren van CONVERT TO DELTA of het klonen van Apache Iceberg- en Parquet-tabellen. Zie Converteren naar Delta Lake en Klonen van Parquet- en Iceberg-tabellen.

Pushdown-filters bij DeltaSource voor Delta-bestanden

Voor een betere benutting worden partitiefilters voor streamingquery's van Delta-tabellen nu naar Delta gepusht voordat de snelheidsbeperking wordt toegepast.

Ondersteuning voor scalaire door de gebruiker gedefinieerde functies op gedeelde clusters (openbare preview)

U kunt nu Scala scalaire door de gebruiker gedefinieerde functies gebruiken op clusters met Unity Catalog die zijn geconfigureerd met de modus voor gedeelde toegang. Zie door de gebruiker gedefinieerde scalaire functies - Scala.

Bibliotheekverbeteringen

  • Bijgewerkte Python-bibliotheken:
    • fastjsonschema van 2.18.0 tot 2.19.0
    • filelock van 3.12.3 tot 3.12.4
    • googleapis-common-protos van 1.60.0 tot 1.61.0
  • Bijgewerkte R-bibliotheken:
  • Bijgewerkte Java-bibliotheken:

Apache Spark

Databricks Runtime 14.2 bevat Apache Spark 3.5.0. Deze release bevat alle Spark-oplossingen en -verbeteringen die zijn opgenomen in Databricks Runtime 14.1 (EoS) en de volgende aanvullende bugfixes en verbeteringen in Spark:

  • [SPARK-45592] [DBRRM-624] Herstel "[SC-146977][sql] Probleem met juistheid in AQE met InMemoryTableScanExec"
  • [SPARK-45524] [DBRRM-625] Revert "[SC-146319][python][SQL] Initial support voor..."
  • [SPARK-45433] [DBRRM-621] Terugdraaien “[SC-145163][sql] Fix CSV/JSON schema afleiding…”
  • [SPARK-45592] [SC-146977][sql] Probleem met juistheid in AQE met InMemoryTableScanExec
  • [SPARK-45354] Herstel “[SC-143991][sql] Functies bottom-up oplossen”
  • [SPARK-45680] [TEST-ONLY][sasp-2347][CONNECT] Tests repareren
  • [SPARK-45680] [CONNECT] Sessie beëindigen
  • [SPARK-43380] [SC-146726][es-897115][SQL] Langzamere Avro-leesbewerking verholpen
  • [SPARK-45649] [SC-146742][sql] Het voorbereidingsframework samenvoegen voor OffsetWindowFunctionFrame
  • [SPARK-40820] [SC-146727][python][SQL] StructType maken vanuit Json
  • [SPARK-45620] [SC-146225][python] Corrigeer gebruikersgerichte API's met betrekking tot Python UDTF voor het gebruik van camelCase
  • [SPARK-45727] [SC-146978][ss] Ongebruikte kaart verwijderen in simulatie van watermerkdoorgifte
  • [SPARK-45723] [SC-146890][python][CONNECT] Catalogusmethoden voorkomen pandas-conversie
  • [SPARK-45574] [SC-146106][sql] Toevoegen van de :: syntaxis als een afkorting voor cast
  • [SPARK-45670] [SC-146725][core][3.5] SparkSubmit biedt geen ondersteuning --total-executor-cores voor implementatie op K8s
  • [SPARK-45661] [SC-146594][sql][PYTHON] toNullable toevoegen aan StructType, MapType en ArrayType
  • [SPARK-45524] [SC-146319][python][SQL] Initiële ondersteuning voor lees-API voor Python-gegevensbron
  • [SPARK-45542] [SC-145892][kern] Vervangen setSafeMode(HdfsConstants.SafeModeAction, boolean) door setSafeMode(SafeModeAction, boolean)
  • [SPARK-45652] [SC-146641][sql] SPJ: Lege inputpartities verwerken na dynamische filtering
  • [SPARK-45454] [SC-144846][sql] Stel de standaardeigenaar van de tabel in op current_user
  • [SPARK-45554] [SC-146875][python] Introduceer flexibele parameter voor assertSchemaEqual
  • [SPARK-45242] [SC-143410][sql] DataFrame-id gebruiken om CollectMetrics semantisch te valideren
  • [SPARK-45674] [SC-146862][connect][PYTHON] Foutbericht verbeteren voor JVM-afhankelijke kenmerken in Spark Connect.
  • [SPARK-45646] [SC-146276][sql] Harde coderingstijdvariabelen vóór Hive 2.0 verwijderen
  • [SPARK-43380] [SC-146726][es-897115][SQL] Langzamere Avro-leesbewerking verholpen
  • [SPARK-45545] [SC-146484][core] Geef SSLOptions door waar we een SparkTransportConf maken
  • [SPARK-45641] [SC-146260][ui] De begintijd van de toepassing weergeven op AllJobsPage
  • [SPARK-40154] [SC-146491][python][Docs] Correctie van het opslagniveau in de Dataframe.cache docstring
  • [SPARK-45626] [SC-146259][sql] Converteer _LEGACY_ERROR_TEMP_1055 naar REQUIRES_SINGLE_PART_NAMESPACE
  • [SPARK-45507] [SC-145900][sql] Correctie voor geneste gecorreleerde scalaire subquery's met COUNT-aggregaties
  • [SPARK-45619] [SC-146226][connect][PYTHON] De waargenomen metrische gegevens toepassen op observatieobject
  • [SPARK-45588] [SC-145909][protobuf][CONNECT][secundair] Scaladoc-verbetering voor StreamingForeachBatchHelper
  • [SPARK-45616] [SC-146120][core] Vermijd ParVector, die ThreadLocals of SparkSession niet doorgeeft
  • [SPARK-45604] [SC-146105][sql] LogicalType-controle toevoegen op INT64 -> DateTime-conversie op Parquet Vectorized Reader
  • [SPARK-44649] [SC-145891][sql] RuntimeFilter ondersteunt het doorgeven van equivalente creatiezijde-expressies
  • [SPARK-41674] [SC-128408][sql] Runtime-filter moet ondersteuning bieden voor meerdere niveaus van shuffle join-zijde als de kant waar het filter wordt aangemaakt.
  • [SPARK-45547] [SC-146228][ml] Vectoren valideren met ingebouwde functie
  • [SPARK-45558] [SC-145890][ss] Introduceer een metagegevensbestand voor stateful streaming-operator
  • [SPARK-45618] [SC-146252][core] BaseErrorHandler verwijderen
  • [SPARK-45638] [SC-146251][sql][Avro] De testdekking van decimale conversie verbeteren
  • [SPARK-44837] [SC-146020][sql] Wijzig ALTER TABLE ALTER PARTITION kolomfoutmelding
  • [SPARK-45561] [SC-146264][sql] Voeg de juiste conversies toe voor TINYINT in MySQLDialect
  • [SPARK-45632] [SC-146255][sql] Tabelcache moet onnodige ColumnarToRow voorkomen wanneer AQE is ingeschakeld
  • [SPARK-45569] [SC-145932][sql] Naam toewijzen aan de fout _LEGACY_ERROR_TEMP_2152
  • [SPARK-44784] [SC-141015][connect] Maak SBT-test hermetisch.
  • [SPARK-45452] [SC-144836][sql] Verbeter InMemoryFileIndex om gebruik te maken van FileSystem.listFiles API
  • [SPARK-44735] [SC-146186][sql] Waarschuwings msg toevoegen bij het invoegen van kolommen met dezelfde naam per rij die niet overeenkomen
  • [SPARK-45351] [SC-144791][kern] De standaardwaarde wijzigen spark.shuffle.service.db.backend in ROCKSDB
  • [SPARK-45553] [SC-145906][ps] Verouderd verklaren assertPandasOnSparkEqual
  • [SPARK-45613] [SC-146022][core] DeterministicLevel beschikbaar maken als developerApi
  • [SPARK-45549] [SC-145895][kern] Ongebruikt numExistingExecutors verwijderen in CoarseGrainedSchedulerBackend
  • [SPARK-45609] [SC-146030][connect] Voeg SqlState toe aan SparkThrowable proto-bericht
  • [SPARK-45595] [SC-146037] maak sqlstate beschikbaar in het foutbericht
  • [SPARK-45628] [SC-146123][ml] Verbeteren vector_to_array voor .mllib.linalg.SparseVector
  • [SPARK-45009] [SC-145884][sql][FOLLOW UP] Decorrelation uitschakelen in joinvoorwaarden voor AQE InSubquery-test
  • [SPARK-45576] [SC-145883][core] Verwijder onnodige foutopsporingslogboeken in ReloadingX509TrustManagerSuite
  • [SPARK-45485] [SC-145719][connect] Gebruikersagentverbeteringen: Gebruik SPARK_CONNECT_USER_AGENT env-variabele en neem omgevingsspecifieke kenmerken op
  • [SPARK-45508] [SC-145513][core] Voeg "–add-opens=java.base/jdk.internal.ref=ALL-UNNAMED" toe, zodat Platform toegang heeft tot Cleaner op Java 9+
  • [SPARK-45595] Terugdraaien van “[SC-146037] SQLSTATE beschikbaar maken in foutbericht”
  • [SPARK-45595] [SC-146037] SQLSTATE beschikbaar maken in foutbericht
  • [SPARK-45112] Revert “[SC-143259][sql] Use UnresolvedFunction ba...
  • [SPARK-45257] [SC-143411][core] Standaard inschakelen spark.eventLog.compress
  • [SPARK-45586] [SC-145899][sql] Verminder de latentie van de compiler voor plannen met grote expressiestructuren
  • [SPARK-45517] [SC-145691][connect][14.x] Vouw meer uitzonderingsconstructors uit ter ondersteuning van parameters voor foutframework
  • [SPARK-45581] [SC-145896] Maak SQLSTATE verplicht.
  • [SPARK-45427] [SC-145590][core] RPC SSL-instellingen toevoegen aan SSLOptions en SparkTransportConf
  • [SPARK-45261] [SC-143357][core] Los EventLogFileWriters op om none als een codec te verwerken
  • [SPARK-45582] [SC-145897][ss] Zorg ervoor dat de geheugeninstantie niet wordt gebruikt na het aanroepen van commit in de uitvoermodus van streamingaggregatie.
  • [SPARK-45562] [SC-145720][sc-144650][SQL] XML: Een vereiste optie 'rowTag' maken
  • [SPARK-45392] [SC-144362][core][SQL][ss] Vervangen Class.newInstance() door Class.getDeclaredConstructor().newInstance()
  • [SPARK-45433] [SC-145163][sql] Deductie van CSV-/JSON-schema herstellen wanneer tijdstempels niet overeenkomen met de opgegeven timestampFormat
  • [SPARK-45458] [SC-145011][sql] IllegalArgumentException converteren naar SparkIllegalArgumentException in bitwiseExpressions
  • [SPARK-45564] [SC-145735][sql] Vereenvoudig 'DataFrameStatFunctions.bloomFilter' met de expressie 'BloomFilterAggregate'
  • [SPARK-45566] [SC-145777][ps] Ondersteuning voor Pandas-achtige testhulpmiddelen voor Pandas-API in Spark
  • [SPARK-45498] [SC-145509][kernel] Opvolgen: Taakvoltooiing van een vorige fase negeren...
  • [SPARK-45483] [SC-145152][connect] Corrigeer de functiegroepen in connect.functions
  • [SPARK-45577] [SC-145781][python] Fix UserDefinedPythonTableFunctionAnalyzeRunner om gevouwen waarden van benoemde argumenten door te geven
  • [SPARK-45009] [SC-138223][opvolgen] Decorrelation van de joinvoorwaarden uitschakelen voor AetherSQLQuerySuite
  • [SPARK-45415] [SC-145344] Selectief uitschakelen van 'fallocate' in RocksDB-statestore toestaan
  • [SPARK-45500] [SC-145134][core][WEBUI] Het aantal abnormaal voltooide stuurprogramma's weergeven in MasterPage
  • [SPARK-44120] [SC-144349][python] Ondersteuning voor Python 3.12
  • [SPARK-45439] [SC-145589][sql][UI] Verminder het geheugengebruik van LiveStageMetrics.accumIdsToMetricType
  • [SPARK-45565] [SC-145717][ui] Onnodige JSON.stringify en JSON.parse-lus voor takenlijst op fasedetails
  • [SPARK-45567] [SC-145718][connect] Verwijder redundante 'if-statement' in org.apache.spark.sql.connect.execution.ExecuteGrpcResponseSender#run
  • [SPARK-45112] [SC-143259][sql] Oplossing op basis van UnresolvedFunction gebruiken in SQL Dataset-functies
  • [SPARK-45486] [SASP-2457][sc-145612][CONNECT] Maak add_artifact verzoek idempotent
  • [SPARK-44913] [SC-144326][sql] DS V2 ondersteunt push down V2 UDF met magic-methode
  • [SPARK-45538] [SC-145635][python][CONNECT]pyspark connect overwrite_partitions bug
  • [SPARK-45491] [SC-145622] Ontbrekende SQLSTATES 2/2 toevoegen
  • [SPARK-45009] [SC-145620][sc-138223][SQL] Decorreleer subquery's in de join-voorwaarde
  • [SPARK-45377] [SC-144377][core] InputStream verwerken in NettyLogger
  • [SPARK-45248] [SC-143759][core]Stel de time-out voor spark ui-server in
  • [SPARK-44594] [SC-145611][ss] Verwijder redundante methodeparameter in kafka-connector
  • [SPARK-45539] [SC-145621][ss] Assert en log toevoegen om aan te geven dat de definitie van het watermerk vereist is voor streaming-aggregatiequery's in appendmodus
  • [SPARK-44262] [SC-145639][sql] Toevoegen dropTable en getInsertStatement aan JdbcDialect
  • [SPARK-45516] [SC-145480][connect] Voeg QueryContext toe aan het SparkThrowable proto bericht
  • [SPARK-45310] [SC-145127][kern] De rapportage van de shuffle-blokstatus moet de shuffle-service respecteren tijdens de migratie bij buitengebruikstelling.
  • [SPARK-45521] [SC-145487][ml] Vermijd herberekening van nnz in VectorAssembler
  • [SPARK-45418] [SC-145485][sql][PYTHON][connect] Wijzig current_database() kolomalias in current_schema()
  • [SPARK-45116] [SC-145142][sql] Voeg een opmerking toe voor param van JdbcDialect createTable
  • [SPARK-45495] [SC-145529][kern] Taakresourceprofiel op faseniveau voor k8s-cluster ondersteunen wanneer dynamische toewijzing is uitgeschakeld
  • [SPARK-45487] [SC-145559] SQLSTATEs en tijdelijke fouten oplossen
  • [SPARK-45505] [SC-145550][python] AnalyzeInPython herstructureren om deze herbruikbaar te maken
  • [SPARK-45132] [SC-145425][sql] Oplossing IDENTIFIER voor functie-aanroep
  • [SPARK-45213] [SC-145020][sql] Naam toewijzen aan de fout _LEGACY_ERROR_TEMP_2151
  • [SPARK-45416] [SC-145126][verbinding] Consistentie van pijlresultaten controleren
  • [SPARK-45163] [SC-143386][sql] Samenvoegen UNSUPPORTED_VIEW_OPERATION & UNSUPPORTED_TABLE_OPERATION & enkele problemen oplossen
  • [SPARK-45421] [SC-144814][sql] Catch AnalysisException bij InlineCTE
  • [SPARK-43664] [SC-145404][connect][PS] Een uitzondering genereren voor ps.sql pandas-on-Spark-object in Spark Connect.
  • [SPARK-45402] [SC-145371][sql][PYTHON] Voeg UDTF-API toe voor de methoden 'eval' en 'terminate' om het vorige analyseresultaat te gebruiken
  • [SPARK-36112] [SC-67885] [SQL] Ondersteuning voor gecorreleerde EXISTS- en IN-subquery's met behulp van DecorrelateInnerQuery-framework
  • [SPARK-45383] [SC-144929][sql] Foutbericht voor tijdreizen met niet-bestaande tabel oplossen
  • [SPARK-43254] [SC-143318][sql] Wijs een naam toe aan de fout _LEGACY_ERROR_TEMP_2018
  • [SPARK-45204] [SC-145167][connect] Optionele ExecuteHolder toevoegen aan SparkConnectPlanner
  • [SPARK-45451] [SC-145144][sql] Maak het standaardopslagniveau van de gegevenssetcache configureerbaar
  • [SPARK-45192] [SC-143194][ui] Achterstallige lineInterpolate-parameter voor graphviz-edge corrigeren
  • [SPARK-45467] [SC-145146][kern] Vervangen Proxy.getProxyClass() door Proxy.newProxyInstance().getClass
  • [SPARK-45397] [SC-145139][ml][CONNECT] Functietransformator voor array assembler toevoegen
  • [SPARK-44855] [SC-145226][connect] Kleine aanpassingen voor het koppelen van ExecuteGrpcResponseSender aan ExecuteResponseObserver
  • [SPARK-45398] [SC-144796][sql] Toevoegen ESCAPE aan sql() de Like expressie
  • [SPARK-45494] [SC-145129][core][PYTHON] Introduceer hulpprogrammafuncties voor het lezen/schrijven van een bytematrix voor PythonWorkerUtils
  • [SPARK-45464] [SC-145125][kern] Opgeloste distributie-build voor netwerkgaren
  • [SPARK-45461] [SC-144851][core][SQL][mllib] Introduceer een mapper voor StorageLevel
  • [SPARK-45450] [SC-145009][python] Corrigeer import volgens PEP8: pyspark.pandas en pyspark (core)
  • [SPARK-45475] [SC-145018][sql] Maakt gebruik van DataFrame.foreachPartition in plaats van RDD.foreachPartition in JdbcUtils
  • [SPARK-45271] [SC-143778][sql] Voeg _LEGACY_ERROR_TEMP_1113 samen in TABLE_OPERATION en verwijder een ongebruikte methode in QueryCompilationErrors
  • [SPARK-45449] [SC-145013][sql] Probleem met ongeldige cache met JDBC-tabel
  • [SPARK-45473] [SC-145017][sql] Onjuiste foutmelding voor RoundBase oplossen
  • [SPARK-43299] [SC-145022][ss][CONNECT] StreamingQueryException omzetten in Scala-client
  • [SPARK-45474] [SC-145014][core][WEBUI] Ondersteuning voor filteren op het hoogste niveau in de JSON-API van MasterPage
  • [SPARK-45205] [SC-145012][sql] CommandResultExec om iteratormethoden te overschrijven om te voorkomen dat meerdere taken worden geactiveerd.
  • [SPARK-45472] [SC-145004][ss] RocksDB State Store hoeft het bestaan van het controlepuntpad niet opnieuw te controleren
  • [SPARK-45470] [SC-145010][sql] Vermijd het plakken van de tekenreekswaarde van het Hive ORC-compressietype
  • [SPARK-45448] [SC-144829][python] Herstel import volgens PEP8: pyspark.testing, pyspark.mllib, pyspark.resource en pyspark.streaming
  • [SPARK-45446] [SC-144828][python] Importen corrigeren volgens PEP8: pyspark.errors en pyspark.ml
  • [SPARK-45239] [SC-144832][connect] Verminder standaard spark.connect.jvmStacktrace.maxSize
  • [SPARK-45436] [SC-144831][python][CONNECT] DataFrame-methoden controleren dezelfde sessie
  • [SPARK-45413] [SC-144847][core] Waarschuwing toevoegen voor het voorbereiden van het beëindigen van LevelDB-ondersteuning
  • [SPARK-45462] [SC-144848][core][WEBUI] Weergeven Duration in ApplicationPage
  • [SPARK-44527] [SC-144855][sql] ScalarSubquery vervangen door null als de maxRows 0 is
  • [SPARK-45401] [SC-144854][python] Een nieuwe methode cleanup toevoegen in de UDTF-interface
  • [SPARK-43704] [SC-144849][connect][PS] Ondersteuning MultiIndex voor to_series()
  • [SPARK-45424] [SC-144888][sql] Corrigeer TimestampFormatter die optionele parse-resultaten retourneert wanneer alleen het voorvoegsel overeenkomt.
  • [SPARK-45441] [SC-144833][python] Introduceer meer hulpprogrammafuncties voor PythonWorkerUtils
  • [SPARK-45412] [SC-144803][python][CONNECT] Valideer het plan en de sessie in DataFrame.__init__
  • [SPARK-45408] [SC-144810][core] RPC SSL-instellingen toevoegen aan TransportConf
  • [SPARK-45432] [SC-144818][kernfunctionaliteit] Verwijder verouderde Hadoop-2-constructor LocatedFileStatus
  • [SPARK-45434] [SC-144819][ml][CONNECT] LogisticRegression controleert de trainingslabels
  • [SPARK-45420] [SC-144808][sql][PYTHON][connect] DataType.fromDDL toevoegen aan PySpark
  • [SPARK-45406] [SC-144793][python][CONNECT] Verwijderen schema uit DataFrame-constructor
  • [SPARK-45404] [SC-144799][core] Ondersteuning van milieuvariabele AWS_ENDPOINT_URL
  • [SPARK-43620] [SC-144792][connect][PS] Pandas-API's herstellen is afhankelijk van niet-ondersteunde functies
  • [SPARK-45354] [SC-143991][sql] Functies onderaan oplossen
  • [SPARK-45394] [SASP-1480][sc-144712][PYTHON][connect] Hertries voor artefact-API toevoegen. Foutafhandeling verbeteren (opvolgen tot [SPARK-45093]).
  • [SPARK-45120] [SC-142780][spark-45150][UI] Upgrade d3 van v3 naar v7(v7.8.5) en pas API-wijzigingen toe in de gebruikersinterface
  • [SPARK-44838] [SC-143983][sql] raise_error verbetering
  • [SPARK-45312] [SC-143754][sql][UI] Ondersteuning voor schakelknop voor de weergave/verbergen van het plan svg op de uitvoeringspagina.
  • [SPARK-45378] [SC-144448][core] Voeg convertToNettyForSsl toe aan ManagedBuffer
  • [SPARK-44762] [SC-144338][connect][CORE] Documentatie voor SparkConnect.addJobTag en Connect SparkSession.addTag
  • [SPARK-45383] Niet-opgeloste RelationTimeTravel probleemloos verwerken
  • [SPARK-45347] [SC-144512][sql][CONNECT] De SparkThrowable opnemen in de FetchErrorDetailsResponse
  • [SPARK-45012] [SC-141512][sql] CheckAnalysis moet een inlined plan in AnalysisException gooien
  • [SPARK-45359] [SC-144336][python][CONNECT] DataFrame.{columns, colRegex, explain} zou uitzonderingen moeten genereren wanneer het plan ongeldig is
  • [SPARK-45227] [SC-144233][kern] Een subtiel threadveiligheidsprobleem met CoarseGrainedExecutorBackend oplossen
  • [SPARK-45266] [SC-144171][python] Herstructureer de ResolveFunctions-analyzerregel om het maken van laterale joins uit te stellen wanneer tabelargumenten worden gebruikt
  • [SPARK-45266] Herstel “[SC-144171][python] Herstructureer analysegoregel voor ResolveFunctions om uitstel van het maken van een laterale join toe te staan wanneer tabelargumenten worden gebruikt”
  • [SPARK-45371] [SC-144389][connect] Arceringsproblemen in de Spark Connect Scala-client oplossen
  • [SPARK-45057] [SC-144214][core] Vermijd het verkrijgen van een leesvergrendeling wanneer keepReadLock false is
  • [SPARK-45385] [SC-144357][sql] Verouderd verklaren spark.sql.parser.escapedStringLiterals
  • [SPARK-45340] [SC-143917][sql] Verwijder de SQL-configuratie spark.sql.hive.verifyPartitionPath
  • [SPARK-45266] [SC-144171][python] Herstructureer de ResolveFunctions-analyzerregel om het maken van laterale joins uit te stellen wanneer tabelargumenten worden gebruikt
  • [SPARK-45362] [SC-144198][python] Projecteer PARTITION BY-expressies voordat de Python UDTF-methode 'eval' deze gebruikt
  • [SPARK-45346] [SC-143925][sql] Parquet-schema-afleiding moet de hoofdlettergevoeligheidsvlag respecteren bij het samenvoegen van het schema
  • [SPARK-45341] [SC-143933][core] Corrigeer de titelindeling in de opmerkingen van KVStore.java zodat sbt doc succesvol kan draaien met Java 17
  • [SPARK-45334] [SC-143914][sql] Misleidende opmerking verwijderen in parquetSchema Converter
  • [SPARK-45337] [SC-143932][kern] Herstructureren AbstractCommandBuilder#getScalaVersion om de controle op Scala 2.12 te verwijderen
  • [SPARK-45329] [SC-143918][python][CONNECT] DataFrame-methoden slaan pandas-conversie over
  • [SPARK-43662] [SC-143923][ps][CONNECT] Ondersteuning merge_asof in Spark Connect
  • [SPARK-44126] [SC-143751][core] Het aantal mislukte Shuffle-migraties mag niet toenemen wanneer de doeluitvoerder wordt uitgeschakeld.
  • [SPARK-44550] [SC-119768][sql] Activeer correctheidscorrecties voor null IN (empty list) onder ANSI
  • [SPARK-45316] [SC-143783][core][SQL] Nieuwe parameters ignoreCorruptFiles/ignoreMissingFiles toevoegen aan en HadoopRDDNewHadoopRDD
  • [SPARK-45093] [SC-143414][connect][PYTHON] Foutrapportage voor addArtifacts-query
  • [SPARK-44756] [SC-143787][core] Executor loopt vast wanneer RetryingBlockTransferor geen herstart kan initiëren
  • [SPARK-45333] [SC-143768][core] Eén eenheidsfout met betrekking tot spark.eventLog.buffer.kb oplossen
  • [SPARK-45317] [SC-143750][sql][CONNECT] Null-bestandsnaam verwerken in stacktraceringen van uitzonderingen
  • [SPARK-45191] [SC-143407][sql] InMemoryTableScanExec simpleStringWithNodeId voegt kolomgegevens toe
  • [SPARK-45235] [SC-143314][connect][PYTHON] Ondersteuning voor kaart- en matrixparameters door sql()
  • [SPARK-45138] [SC-143309][ss] Definieer een nieuwe foutklasse en pas deze toe wanneer de status van controlepunten op DFS mislukt
  • [SPARK-45297] [SC-143644][sql] Tijdelijke oplossing verwijderen voor datumopmaak toegevoegd in SPARK-31827
  • [SPARK-44345] [SC-143593][core] Verlaag het unknown shuffle map output logniveau naar WAARSCHUWING als shuffle-migratie is ingeschakeld.
  • [SPARK-44463] [SC-143251][ss][CONNECT] Foutafhandeling verbeteren voor Connect streaming Python-worker
  • [SPARK-45207] [SC-143603][sql][CONNECT] Foutverrijking implementeren voor Scala-client
  • [SPARK-45240] [SC-143602][sql][CONNECT] Foutverrijking implementeren voor Python-client
  • [SPARK-45216] [SC-143288][sql] Corrigeer niet-deterministische Dataset-API's met zaadwaarden
  • [SPARK-45251] [SC-143419][connect] Voeg client_type veld toe voor FetchErrorDetails
  • [SPARK-45137] [SC-143001][connect] Ondersteuning voor kaart-/matrixparameters in geparameteriseerde sql()
  • [SPARK-45224] [SC-143257][python] Voorbeelden toevoegen w/ kaart en matrix als parameters van sql()
  • [SPARK-44622] [SC-143205][sql][CONNECT] FetchErrorDetails RPC implementeren
  • [SPARK-45178] [SC-136089] Terugvallen op het uitvoeren van één batch voor Trigger.AvailableNow met niet-ondersteunde bronnen in plaats van de wrapper te gebruiken
  • [SPARK-44823] [14.x][sc-142979][PYTHON] Update black naar 23.9.1 en corrigeer de foutieve controle
  • [SPARK-45078] [SC-142954][sql] array_insert Herstel het probleem waarbij ImplicitCastInputTypes niet werkt
  • [SPARK-44579] [SC-138428][sql] Ondersteuning onderbreken bij annuleren in SQLExecution
  • [SPARK-45252] [SC-143371][core] Escape de groter/minder dan-symbolen in de opmerkingen om ervoor te zorgen dat sbt doc succesvol wordt uitgevoerd.
  • [SPARK-45189] [SC-142973][sql] Het maken van UnresolvedRelation vanuit TableIdentifier moet het catalogusveld omvatten
  • [SPARK-45229] [SC-143254][core][UI] Het aantal stuurprogramma's weergeven dat in de status INGEDIEND wacht in MasterPage
  • [SPARK-43453] Herstel “[SC-143135][ps] Negeer de names van MultiIndex wanneer axis=1 voor concat”

Ondersteuning voor Databricks ODBC-/JDBC-stuurprogramma's

Databricks ondersteunt ODBC-/JDBC-stuurprogramma's die in de afgelopen 2 jaar zijn uitgebracht. Download de onlangs uitgebrachte stuurprogramma's en upgrade (download ODBC, download JDBC).

Zie onderhoudsupdates voor Databricks Runtime 14.2.

Systeemomgeving

  • Besturingssysteem: Ubuntu 22.04.3 LTS
  • Java: Zulu 8.72.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.3.1
  • Delta Lake: 3.0.0

Geïnstalleerde Python-bibliotheken

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-bindingen 21.2.0
asttokens 2.0.5 kenmerken 22.1.0 terugroep 0.2.0
beautifulsoup4 4.11.1 zwart 22.6.0 bleekmiddel 4.1.0
knipperlicht 1.4 boto3 1.24.28 botocore 1.27.96
certificaat 2022.12.7 cffiffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 klikken 8.0.4 communicatie 0.1.2
contourpy 1.0.5 cryptografie 39.0.1 wielrijder 0.11.0
Cython 0.29.32 databricks-sdk (softwareontwikkelkit) 0.1.6 dbus-python 1.2.18
foutopsporing 1.6.7 decorateur 5.1.1 defusedxml 0.7.1
distlib 0.3.7 Van docstring naar markdown 0,11 invoerpunten 0,4
Uitvoeren 0.8.3 facetoverzicht 1.1.1 fastjsonschema 2.19.0
bestandsvergrendeling 3.12.4 lettertypegereedschappen 4.25.0 googleapis-common-protos 1.61.0
grpcio 1.48.2 grpcio-status 1.48.1 httplib2 0.20.2
IDNA 3.4 importlib-metadata 4.6.4 ipykernel 6.25.0
ipython 8.14.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
Jedi 0.18.1 Jeepney 0.7.1 Jinja2 3.1.2
jmespath 0.10.0 joblib 1.2.0 jsonschema 4.17.3
jupyter-client (softwarepakket voor Jupyter-notebooks) 7.3.4 jupyter-server 1.23.4 jupyter_core 5.2.0
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 sleutelhanger 23.5.0
kiwisolver 1.4.4 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 lxml 4.9.1 MarkupSafe 2.1.1
matplotlib 3.7.0 matplotlib-inline 0.1.6 Mccabe 0.7.0
verkeerd gestemd 0.8.4 more-itertools 8.10.0 mypy-extensions 0.4.3
nbclassic 0.5.2 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 nodeenv 1.8.0
notitieboek 6.5.2 notitieboek_shim 0.2.2 numpy 1.23.5
oauthlib 3.2.0 verpakking 22,0 Pandas 1.5.3
pandocfilters 1.5.0 parso 0.8.3 pathspec 0.10.3
Patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Kussen 9.4.0 pit 22.3.1 platformdirs 2.5.2
plotly 5.9.0 plugachtig 1.0.0 prometheus-client 0.14.1
prompt-hulpmiddelenpakket 3.0.36 protocolbuffers 4.24.0 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pyarrow-hotfix 0,4 pycparser 2.21
pydantic (een Python-bibliotheek voor datavalidatie en instellingenbeheer) 1.10.6 pyflakes 3.1.0 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
python-dateutil (een bibliotheek voor datum- en tijdgebaseerde functionaliteit in Python) 2.8.2 python-lsp-jsonrpc 1.1.1 python-lsp-server 1.8.0
pytoolconfig 1.2.5 pytz 2022.7 pyzmq 23.2.0
verzoeken 2.28.1 touw 1.7.0 s3transfer 0.6.2
scikit-learn 1.1.1 Scipy (een wetenschappelijke bibliotheek voor Python) 1.10.0 geboren op zee 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 setuptools (een Python-pakket voor het beheren van installatie en distributie van pakketten) 65.6.3
Zes 1.16.0 sniffio 1.2.0 Soupsieve 2.3.2.post1
ssh-import-id 5,11 stapelgegevens 0.2.0 statsmodels 0.13.5
vasthoudendheid 8.1.0 voltooid 0.17.1 threadpoolctl 2.2.0
tinycss2 1.2.1 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.1 Traitlets (Python library voor het configureren van Python-objecten) 5.7.1 typuitbreidingen 4.4.0
ujson (een Python-bibliotheek voor snelle JSON-verwerking) 5.4.0 upgrades zonder toezicht 0,1 urllib3 1.26.14
virtualenv 20.16.7 wadllib 1.3.6 wcwidth 0.2.5
Webencoderingen 0.5.1 websocket-client 0.58.0 whatthepatch 1.0.2
wiel 0.38.4 widgetsnbextension 3.6.1 yapf 0.33.0
ritssluiting 1.0.0

Geïnstalleerde R-bibliotheken

R-bibliotheken worden geïnstalleerd vanuit de Posit Pakketmanager CRAN-snapshot op 2023-02-10.

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
pijl 12.0.1 wachtwoord vragen 1.1 verzeker dat 0.2.1
backports (terugporteringen) 1.4.1 basis 4.3.1 base64enc 0.1-3
beetje 4.0.5 64-bitsysteem 4.0.5 Druppel 1.2.4
opstarten 1.3-28 brouwsel 1.0-8 Brio 1.1.3
bezem 1.0.5 bslib 0.5.0 cachem 1.0.8
beller 3.7.3 Caret 6.0-94 cellranger (softwaretool voor genetische analyse) 1.1.0
Chron 2.3-61 klas 7.3-22 CLI 3.6.1
Clipr 0.8.0 klok 0.7.0 groep 2.1.4
codetools 0.2-19 kleurruimte 2.1-0 commonmark 1.9.0
programmacompileerder 4.3.1 configuratie 0.3.1 Tweegescheurd 1.2.0
cpp11 0.4.4 krijtje 1.5.2 aanmeldingsgegevens 1.3.2
krul 5.0.1 gegevenstabel 1.14.8 gegevenssets 4.3.1
DBI 1.1.3 dbplyr 2.3.3 Beschrijving 1.4.2
devtools 2.4.5 grafiek 1.6.5 diffobj 0.3.5
samenvatting 0.6.33 neerwaartse verlichting 0.4.3 dplyr (een R-pakket voor gegevensmanipulatie) 1.1.2
dtplyr 1.3.1 e1071 1.7-13 beletselteken 0.3.2
evalueren 0.21 fans 1.0.4 kleuren 2.1.1
snelle kaart 1.1.1 Fontawesome 0.5.1 voorkatten 1.0.0
foreach 1.5.2 buitenlands 0.8 - 82 smeden 0.2.0
Fs 1.6.2 toekomst 1.33.0 future.apply 1.11.0
gorgelen 1.5.1 Generieke typen 0.1.3 Gert 1.9.2
ggplot2 3.4.2 Gh 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 globale variabelen 0.16.2 lijm 1.6.2
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
afbeeldingen 4.3.1 grDevices 4.3.1 raster 4.3.1
gridExtra 2.3 gsubfn 0,7 gtable 0.3.3
veiligheidshelm 1.3.0 toevluchtsoord/schuilplaats 2.5.3 hoger 0.10
Hms 1.1.3 htmltools 0.5.5 htmlwidgets 1.6.2
httpuv 1.6.11 httr 1.4.6 httr2 0.2.3
identiteiten 1.0.1 ini 0.3.1 IPRED 0.9-14
isoband 0.2.7 Iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 KernSmooth 2.23-21 breiwerk 1,43
etikettering 0.4.2 daarna 1.3.1 latwerk 0.21-8
lava 1.7.2.1 levenscyclus 1.0.3 luisteren 0.9.0
lubridate 1.9.2 magrittr 2.0.3 Markdown 1,7
MASSA 7.3-60 Matrix 1.5-4.1 memoriseren 2.0.1
methoden 4.3.1 mgcv 1.8-42 Mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelleur 0.1.11
munsell 0.5.0 nlme 3.1-162 nnet 7.3-19
numDeriv 2016.8 tot 1.1 OpenSSL-software 2.0.6 evenwijdig 4.3.1
parallel aan elkaar 1.36.0 pilaar 1.9.0 pkgbuild 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 plyr 1.8.8 prijzen 1.0.0
prettyunits 1.1.1 Proc 1.18.4 Processx 3.8.2
prodlim 31 maart 2023 profvis 0.3.8 Voortgang 1.2.2
progressr 0.13.0 Beloften 1.2.0.1 Proto 1.0.0
tussenpersoon 0.4-27 P.S. 1.7.5 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
leesbewerking 2.1.4 readxl (een programma voor het lezen van Excel-bestanden) 1.4.3 recepten 1.0.6
Rematch 1.0.1 revanche2 2.1.2 Afstandsbedieningen 2.4.2
reproduceerbaar voorbeeld 2.0.2 hervorm2 1.4.4 rlang 1.1.1
rmarkdown 2.23 RODBC 1.3-20 roxygen2 7.2.3
rpart (een R-pakket voor beslissingsboommodellering) 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversions 2.1.2
rvest (een softwarepakket voor webscraping) 1.0.3 Sass 0.4.6 weegschaal 1.2.1
Selectr 0,4-2 sessie-informatie 1.2.2 vorm 1.4.6
glanzend 1.7.4.1 sourcetools 0.1.7-1 sparklyr 1.8.1
ruimtelijk 7.3-15 Spieën 4.3.1 sqldf 0.4-11
SQUAREM 2021.1 Statistieken 4.3.1 statistieken4 4.3.1
strings 1.7.12 stringr 1.5.0 overleving 3.5-5
sys 3.4.2 systemfonts 1.0.4 tcltk 4.3.1
testthat 3.1.10 tekstvormgeving 0.3.6 tibble 3.2.1
tidyr 1.3.0 tidyselect 1.2.0 tidyverse 2.0.0
klokverandering 0.2.0 tijdDatum 4022.108 tinytex 0,45
gereedschappen 4.3.1 tzdb 0.4.0 URL-controleprogramma 1.0.1
gebruik dit 2.2.2 utf8 1.2.3 hulpmiddelen 4.3.1
UUID (Universally Unique Identifier) 1.1-0 vctrs 0.6.3 viridisLite 0.4.2
Vroom 1.6.3 Waldo 0.5.1 snor 0.4.1
verwelken 2.5.0 xfun 0,39 xml2 1.3.5
xopen 1.0.0 xtable 1.8-4 YAML 2.3.7
ritssluiting 2.3.0

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)

Groeps-id Artefact-ID Versie
antlr antlr 2.7.7
com.amazonaws Amazon Kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling (Amazon Web Services Java Software Development Kit voor automatisch schalen) 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config (configuratie) 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws AWS Java SDK Datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws AWS Java SDK - Elastic Load Balancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier (AWS Java SDK Glacier) 1.12.390
com.amazonaws aws-java-sdk-glue (een softwareontwikkelingskit voor het werken met AWS Glue in Java) 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws AWS Java SDK Import/Export 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logbestanden 1.12.390
com.amazonaws AWS-Java-SDK-MachineLearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway (een Java software development kit voor het beheren van opslaggateways in AWS) 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-ondersteuning 1.12.390
com.amazonaws aws-java-sdk-swf-bibliotheken 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics stroom 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.7.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-gearceerd 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml klasgenoot 1.3.4
com.fasterxml.jackson.core Jackson-annotaties 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.cafeïne cafeïne 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-autochtonen
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-autochtonen
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-autochtonen
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-autochtonen
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson (een Java-bibliotheek voor het converteren van Java-objecten naar JSON en vice versa) 2.10.1
com.google.crypto.tink Tinkel 1.9.0
com.google.errorprone (foutgevoelig) foutgevoelige_annotaties 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guave 15,0
com.google.protobuf protobuf-java 2.6.1
com.helger profielanalist 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.UITGAVE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure Azure-Data-Lake-Store-SDK 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf (een compressie-algoritme) 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core (Java-architectuur voor XML-binding) 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-functie_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuratie 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
gemeenschappelijke collecties gemeenschappelijke collecties 3.2.2
commons-dbcp commons-dbcp 1.4
commons-bestandsupload commons-bestandsupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
gemeenschappelijke-logboekvoorziening gemeenschappelijke-logboekvoorziening 1.1.3
commons-pool (gemeenschappelijke pool) commons-pool (gemeenschappelijke pool) 1.5.4
dev.netje.netlib arpack 3.0.3
dev.netje.netlib Blas 3.0.3
dev.netje.netlib LAPACK 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift luchtdrukmachine 0.25
io.delta delta-sharing-client_2.12 1.0.2
io.dropwizard.metrics annotatie van metrieken 4.2.19
io.dropwizard.metrics metrische gegevenskern 4.2.19
io.dropwizard.metrics metrische gegevensgrafiet 4.2.19
io.dropwizard.metrics metrische gezondheidscontroles 4.2.19
io.dropwizard.metrics metrics-jetty9 (een Jetty-implementatie voor het meten van prestatie-indicatoren) 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json (metrische gegevens in JSON-formaat) 4.2.19
io.dropwizard.metrics metriekgegevens voor JVM 4.2.19
io.dropwizard.metrics metrieke gegevens-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty Netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-sokken 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-klassen 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-natieve-unix-algemeen 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common (algemene module voor eenvoudige client) 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx verzamelaar 0.12.0
jakarta.annotatie jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activering 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transactie-api 1.1
javax.xml.bind jaxb-api 2.2.11
Javolution Javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pekelen 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-CSV 2.2.0
net.sneeuwvlok snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr tekenreekssjabloon 3.2.1
org.apache.ant mier 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher (startprogramma voor Ant) 1.9.16
org.apache.arrow pijlnotatie 12.0.1
org.apache.arrow pijlpunt-geheugen-kern 12.0.1
org.apache.arrow arrow-memory-netty 12.0.1
org.apache.arrow pijlvector 12.0.1
org.apache.avro AVRO 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress - een bibliotheek voor compressie 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-tekst 1.10.0
org.apache.curator beheerder-klant 2.13.0
org.apache.curator curatorraamwerk 2.13.0
org.apache.curator curator-recepten 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches gegevensschetsen-geheugen 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-uitvoeringsomgeving 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-opslag-API 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common (if no translation is needed for understanding, the original can be kept as is) 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy klimop 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.mesos Mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.9.1-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.1-shaded-protobuf
org.apache.orc orc-shims 1.9.1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-gearceerd 4.23
org.apache.yetus aantekeningen voor het publiek 0.13.0
org.apache.zookeeper dierenverzorger 3.6.3
org.apache.zookeeper dierentuinopzichter-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-ASL 1.9.13
org.codehaus.janino algemene compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-vervolg 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty Jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy (een omgekeerde proxy server gebaseerd op Jetty) 9.4.52.v20230823
org.eclipse.jetty Jetty-beveiliging 9.4.52.v20230823
org.eclipse.jetty Jetty Server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-API 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-lokalisator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-hulpbronnenzoeker 1.0.3
org.glassfish.hk2.external aopalliance opnieuw verpakt 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core Algemene Jersey 2.40
org.glassfish.jersey.core Jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator Hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Aantekeningen 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.9
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap vulplaatjes 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.9.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatibel 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.threeten threeten-extra 1.7.1
org.tukaani xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel katten-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
  • Last updated on