Databricks Runtime 14.3 LTS

  • Artikel

De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 14.3 LTS, mogelijk gemaakt door Apache Spark 3.5.0.

Databricks heeft deze afbeeldingen uitgebracht in februari 2024.

Nieuwe functies en verbeteringen

Ondersteuning voor optimalisaties van verwijderingsvectoren MERGE zonder Photon

Photon is niet langer vereist voor MERGE bewerkingen om optimalisaties voor verwijderingsvectoren te gebruiken. Zie Wat zijn verwijderingsvectoren?

Spark-catalogus-API's worden nu volledig ondersteund in de modus voor gedeelde toegang

U kunt nu alle functies in de spark.catalog API in zowel Python als Scala gebruiken op berekeningen die zijn geconfigureerd met de modus voor gedeelde toegang.

Delta UniForm is nu algemeen beschikbaar

UniForm is nu algemeen beschikbaar en maakt gebruik van de IcebergCompatV2 tabelfunctie. U kunt UniForm nu inschakelen of upgraden voor bestaande tabellen. Zie Universal Format (UniForm) voor icebergcompatibiliteit met Delta-tabellen.

Nieuwe SQL-functie EXECUTE IMMEDIATE

U kunt nu de SYNTAXIS EXECUTE IMMEDIATE gebruiken ter ondersteuning van geparameteriseerde query's in SQL. Zie EXECUTE IMMEDIATE.

Statistieken voor het overslaan van gegevens voor Delta-tabellen opnieuw compileren

U kunt nu statistieken die zijn opgeslagen in het Delta-logboek opnieuw berekenen nadat u kolommen hebt gewijzigd die worden gebruikt voor het overslaan van gegevens. Zie Kolommen voor Delta-statistieken opgeven.

Querystatusinformatie voor stateful streamingquery's

U kunt nu query's uitvoeren op structured streamingstatusgegevens en metagegevens. Zie Informatie over de status Structured Streaming lezen.

Microsoft Entra ID (voorheen Azure Active Directory) gebruiken voor Kafka-verificatie op gedeelde clusters

U kunt nu Event Hubs-services verifiëren via OAuth met Microsoft Entra-id op rekenkracht die is geconfigureerd met de modus voor gedeelde toegang. Zie Service Principal-verificatie met Microsoft Entra-id (voorheen Azure Active Directory) en Azure Event Hubs.

Ondersteuning toegevoegd voor het verwijderen van bestanden en partities om de queryprestaties te verbeteren

Om een aantal query's te versnellen die afhankelijk zijn van null-tolerante gelijkheid in JOIN-voorwaarden, ondersteunen DynamicFilePruning we nu en DynamicPartitionPruning voor de EqualNullSafe operator in JOIN's.

Tijdelijke variabelen declareren in een SQL-sessie

Deze release introduceert de mogelijkheid om tijdelijke variabelen te declareren in een sessie die kan worden ingesteld en waarnaar vervolgens vanuit query's kan worden verwezen. Zie variabelen.

Thriftserver-updates om ongebruikte functies te verwijderen

De Thriftserver-code is bijgewerkt om code voor verouderde functies te verwijderen. Vanwege deze wijzigingen worden de volgende configuraties niet meer ondersteund:

  • De Hive-hulp-JAR's, geconfigureerd met behulp van de hive.aux.jars.path eigenschap, worden niet meer ondersteund voor hive-thriftserver verbindingen.
  • Het globale Init-bestand van Hive (.hiverc), waarvan de locatie is geconfigureerd met behulp van de hive.server2.global.init.file.location eigenschap of de HIVE_CONF_DIR omgevingsvariabele, wordt niet meer ondersteund voor hive-thriftserver verbindingen.

TrustStore- en keystore-bestanden gebruiken in Unity Catalog-volumes

U kunt nu truststore- en sleutelopslagbestanden in Unity Catalog-volumes gebruiken om te verifiëren bij een Confluent-schemaregister voor avro- of protocolbuffergegevens. Raadpleeg de documentatie voor avro - of protocolbuffers.

Ondersteuning voor systeemeigen XML-bestandsindelingen (openbare preview)

Ondersteuning voor systeemeigen XML-bestandsindeling is nu beschikbaar in openbare preview. Ondersteuning voor XML-bestandsindeling maakt opname, query's en parsering van XML-gegevens mogelijk voor batchverwerking of streaming. Het kan automatisch schema- en gegevenstypen afleiden en ontwikkelen, ONDERSTEUNT SQL-expressies zoals from_xmlen kan XML-documenten genereren. Er zijn geen externe jar's vereist en werkt naadloos samen met Automatische laadprogramma's, read_filesen COPY INTODelta Live Tables. Zie XML-bestanden lezen en schrijven.

Ondersteuning voor Cloudflare R2-opslag (openbare preview)

U kunt Cloudflare R2 nu gebruiken als cloudopslag voor gegevens die zijn geregistreerd in Unity Catalog. Cloudflare R2 is voornamelijk bedoeld voor gebruiksscenario's voor Delta Sharing waarin u de kosten voor uitgaand gegevensverkeer wilt voorkomen die door cloudproviders in rekening worden gebracht wanneer gegevens door regio's worden gekruist. R2-opslag ondersteunt alle Databricks-gegevens en AI-assets die worden ondersteund in AWS S3, Azure Data Lake Storage Gen2 en Google Cloud Storage. Zie Cloudflare R2-replica's gebruiken of opslag migreren naar R2 en een opslagreferentie maken om verbinding te maken met Cloudflare R2.

Spark- en dbutils-toegang tot werkruimtebestanden ondersteunen bij Unity Catalog-clusters met gedeelde toegang

Spark en lees- en dbutils schrijftoegang tot werkruimtebestanden worden nu ondersteund op Unity Catalog-clusters in de modus voor gedeelde toegang. Zie Werken met werkruimtebestanden.

Ondersteuning voor Init-scripts en clusterbibliotheek op Unity Catalog-clusters met gedeelde toegang

Installatie van init-scripts met clusterbereik en Python- en JAR-bibliotheken op Unity Catalog-clusters in de modus voor gedeelde toegang, inclusief installatie met behulp van clusterbeleid, is nu algemeen beschikbaar. Databricks raadt aan init-scripts en -bibliotheken te installeren vanuit Unity Catalog-volumes.

Bibliotheekupgrades

  • Bijgewerkte Python-bibliotheken:
    • fastjsonschema van 2.19.0 tot 2.19.1
    • filelock van 3.12.4 tot 3.13.1
    • googleapis-common-protos van 1.61.0 tot 1.62.0
    • verpakking van 22.0 tot 23.2
  • Bijgewerkte R-bibliotheken:
    • buitenlandse van 0,8-82 tot 0,8-85
    • nlme van 3.1-162 tot 3.1-163
    • rpart van 4.1.19 tot 4.1.21
  • Bijgewerkte Java-bibliotheken:
    • com.databricks.databricks-sdk-java van 0.7.0 tot 0.13.0
    • org.apache.orc.orc-core van 1.9.1-shaded-protobuf tot 1.9.2-shaded-protobuf
    • org.apache.orc.orc-mapreduce van 1.9.1-shaded-protobuf naar 1.9.2-shaded-protobuf
    • org.apache.orc.orc-shims van 1.9.1 tot 1.9.2
    • org.scala-lang.modules.scala-collection-compat_2.12 van 2.9.0 tot 2.11.0

Apache Spark

Databricks Runtime 14.3 bevat Apache Spark 3.5.0. Deze release bevat alle Spark-oplossingen en -verbeteringen die zijn opgenomen in Databricks Runtime 14.2, evenals de volgende aanvullende bugfixes en verbeteringen in Spark:

  • [SPARK-46541] [SC-153546] [SQL] [VERBINDING MAKEN] Corrigeer de ambigu kolomreferentie in self join
  • [SPARK-45433] [SC-145163][SQL] Herstel deductie van CSV/JSON-schema...
  • [SPARK-46723] [14.3] [SASP-2792] [SC-153425] [VERBINDING MAKEN] [SCALA] AddArtifact opnieuw proberen
  • [SPARK-46660] [SC-153391] [VERBINDING MAKEN] ReattachExecute vraagt de levendigheid van SessionHolder bijwerken
  • [SPARK-46670] [SC-153273] [PYTHON] [SQL] DataSourceManager zelf klonen mogelijk maken door statische en runtime python-gegevensbronnen te scheiden
  • [SPARK-46720] [SC-153410] [SQL] [PYTHON] Python-gegevensbron herstructureren zodat deze overeenkomt met andere ingebouwde DSv2-gegevensbronnen
  • [SPARK-46684] [SC-153275] [PYTHON] [VERBINDING MAKEN] CoGroup.applyInPandas/Arrow corrigeren om argumenten correct door te geven
  • [SPARK-46667] [SC-153271] [SC-153263] [SQL] XML: Fout bij meerdere XML-gegevensbronnen weergeven
  • [SPARK-46382] [SC-151881] [SQL] XML: Default ignoreSurroundingSpaces to true
  • [SPARK-46382] [SC-153178] [SQL] XML: Document bijwerken voor ignoreSurroundingSpaces
  • [SPARK-45292] "[SC-151609][SQL][HIVE] Guava verwijderen uit gedeelde klassen uit IsolatedClientLoader"
  • [SPARK-45292] [SC-151609] [SQL] [HIVE] Guava verwijderen uit gedeelde klassen uit IsolatedClientLoader
  • [SPARK-46311] [SC-150137] [CORE] De uiteindelijke status van stuurprogramma's registreren tijdens Master.removeDriver
  • [SPARK-46413] [SC-151052] [PYTHON] ReturnType van Pijl python UDF valideren
  • [SPARK-46633] [WARMFIX] [SC-153092] [SQL] Avro-lezer herstellen om blokken met lengte nul te verwerken
  • [SPARK-46537] [SC-151286] [SQL] NPE converteren en asserties van opdrachten naar interne fouten
  • [SPARK-46179] [SC-151678] [SQL] Voeg CrossDbmsQueryTestSuites toe, die andere DBMS uitvoert op gouden bestanden met andere DBMS, te beginnen met Postgres
  • [SPARK-44001] [SC-151413] [PROTOBUF] Optie toevoegen om het uitpakken van protobuf bekende wrappertypen toe te staan
  • [SPARK-40876] [SC-151786] [SQL] Verbreed typepromotie voor decimalen met grotere schaal in Parquet-lezers
  • [SPARK-46605] [SC-151769] [VERBINDING MAKEN] Ondersteuning voor functie maken lit/typedLit in connect-module s.c.immutable.ArraySeq
  • [SPARK-46634] [SC-153005] Letterlijke validatie van [SQL] mag niet inzoomen op null-velden
  • [SPARK-37039] [SC-153094] [PS] Oplossing Series.astype om goed te werken met ontbrekende waarde
  • [SPARK-46312] [SC-150163] [CORE] Gebruiken lower_camel_case in store_types.proto
  • [SPARK-46630] [SC-153084] [SQL] XML: De naam van het XML-element valideren bij schrijven
  • [SPARK-46627] [SC-152981] [SS] [UI] Inhoud van tijdlijnknopinfo in streaminggebruikersinterface herstellen
  • [SPARK-46248] [SC-151774] [SQL] XML: Ondersteuning voor ignoreCorruptFiles en ignoreMissingFiles-opties
  • [SPARK-46386] [SC-150766] [PYTHON] Beweringen van observaties verbeteren (pyspark.sql.observation)
  • [SPARK-46581] [SC-151789] [CORE] Opmerking bijwerken over isZero in AccumulatorV2
  • [SPARK-46601] [SC-151785] [CORE] Logboekfout in handleStatusMessage oplossen
  • [SPARK-46568] [SC-151685] [PYTHON] Opties voor Python-gegevensbronnen een hoofdlettergevoelige woordenlijst maken
  • [SPARK-46611] [SC-151783] [CORE] ThreadLocal verwijderen door SimpleDateFormat te vervangen door DateTimeFormatter
  • [SPARK-46604] [SC-151768] [SQL] Ondersteuning maken Literal.applys.c.immuable.ArraySeq
  • [SPARK-46324] [SC-150223] [SQL] [PYTHON] De uitvoernaam van pyspark.sql.functions.user en session_user herstellen
  • [SPARK-46621] [SC-151794] [PYTHON] Adres null van Exception.getMessage in een vastgelegde Py4J-uitzondering
  • [SPARK-46598] [SC-151767] [SQL] OrcColumnarBatchReader moet de geheugenmodus respecteren bij het maken van kolomvectoren voor de ontbrekende kolom
  • [SPARK-46613] [SC-151778] [SQL] [PYTHON] Volledige uitzondering registreren bij het opzoeken van Python-gegevensbronnen
  • [SPARK-46559] [SC-151364] [MLLIB] export De naam van het pakket verpakken met backticks
  • [SPARK-46522] [SC-151784] [PYTHON] Registratie van Python-gegevensbronnen met naamconflicten blokkeren
  • [SPARK-45580] [SC-149956] [SQL] Handle case where a nested subquery wordt an existence join
  • [SPARK-46609] [SC-151714] [SQL] Vermijd exponentiële explosie in PartitioningPreservingUnaryExecNode
  • [SPARK-46535] [SC-151288] [SQL] NPE herstellen bij het beschrijven van een uitgebreide kolom zonder kolomstatistieken
  • [SPARK-46599] [SC-147661] [SC-151770] [SQL] XML: TypeCoercion.findTightestCommonType gebruiken voor compatibiliteitscontrole
  • [SPARK-40876] [SC-151129] [SQL] Niveauverhogingen van het type breder maken in Parquet-lezers
  • [SPARK-46179] [SC-151069] [SQL] Code ophalen naar herbruikbare functies in SQLQueryTestSuite
  • [SPARK-46586] [SC-151679] [SQL] Ondersteuning s.c.immutable.ArraySeq zoals customCollectionCls in MapObjects
  • [SPARK-46585] [SC-151622] [CORE] Rechtstreeks samengesteld metricPeaks als een immutable.ArraySeq in plaats van te gebruiken mutable.ArraySeq.toSeq in Executor
  • [SPARK-46488] [SC-151173] [SQL] TrimAll-aanroep overslaan tijdens het parseren van tijdstempels
  • [SPARK-46231] [SC-149724] [PYTHON] Alle resterende NotImplementedError & TypeError naar het PySpark-foutframework migreren
  • [SPARK-46348] [SC-150281] [CORE] Ondersteuning spark.deploy.recoveryTimeout
  • [SPARK-46313] [SC-150164] [CORE] Duur van logboekherstel Spark HA
  • [SPARK-46358] [SC-150307] [VERBINDING MAKEN] Vereenvoudig de voorwaardecontrole in de ResponseValidator#verifyResponse
  • [SPARK-46380] [SC-151078] [SQL] Vervang de huidige tijd/datum voordat u inlinetabelexpressies evalueert.
  • [SPARK-46563] [SC-151441] [SQL] SimpleString weergeven volgt niet conf spark.sql.debug.maxToStringFields
  • [SPARK-46101] [SC-149211] [CORE] [SQL] [MLLIB] [SS] [R] [CONNCT] [GRAPHX] Verklein de stackdiepte door te vervangen (tekenreeks|matrix).grootte door (tekenreeks|matrix).lengte
  • [SPARK-46539] [SC-151469] [SQL] SELECT * EXCEPT(alle velden uit een struct) resulteert in een assertiefout
  • [SPARK-46565] [SC-151414] [PYTHON] Foutklassen en foutberichten voor Python-gegevensbronnen verfijnen
  • [SPARK-46576] [SC-151614] [SQL] Foutberichten voor niet-ondersteunde gegevensbronopslagmodus verbeteren
  • [SPARK-46540] [SC-151355] [PYTHON] Kolomnamen respecteren wanneer de functie voor het lezen van een Python-gegevensbron de naam Rijobjecten uitvoert
  • [SPARK-46577] [SC-151448] [SQL] HiveMetastoreLazyInitializationSuite lekt hive's SessionState
  • [SPARK-44556] [SC-151562] [SQL] Opnieuw gebruiken OrcTail wanneer vectorizedReader wordt ingeschakeld
  • [SPARK-46587] [SC-151618] [SQL] XML: XSD-conversie van groot geheel getal herstellen
  • [SPARK-46382] [SC-151297] [SQL] XML: Waarden vastleggen tussen elementen
  • [SPARK-46567] [SC-151447] [CORE] ThreadLocal verwijderen voor ReadAheadInputStream
  • [SPARK-45917] [SC-151269] [PYTHON] [SQL] Automatische registratie van Python-gegevensbron bij het opstarten
  • [SPARK-28386] [SC-151014] [SQL] Kan ORDER BY-kolommen met GROUP BY en HAVING niet oplossen
  • [SPARK-46524] [SC-151446] [SQL] Foutberichten voor ongeldige opslagmodus verbeteren
  • [SPARK-46294] [SC-150672] [SQL] Semantiek van init versus nulwaarde opschonen
  • [SPARK-46301] [SC-150100] [CORE] Ondersteuning spark.worker.(initial|max)RegistrationRetries
  • [SPARK-46542] [SC-151324] [SQL] Verwijder de controle van c>=0 waaruit ExternalCatalogUtils#needsEscaping deze altijd waar is
  • [SPARK-46553] [SC-151360] [PS] FutureWarning voor interpolate met object dtype
  • [SPARK-45914] [SC-151312] [PYTHON] Ondersteuning voor doorvoeren en afbreken van API voor Schrijven van Python-gegevensbron
  • [SPARK-46543] [SC-151350] [PYTHON] [VERBINDING MAKEN] Maak json_tuple PySparkValueError voor lege velden
  • [SPARK-46520] [SC-151227] [PYTHON] Ondersteuning voor overschrijfmodus voor schrijven van Python-gegevensbronnen
  • [SPARK-46502] [SC-151235] [SQL] Ondersteuning voor tijdstempeltypen in UnwrapCastInBinaryComparison
  • [SPARK-46532] [SC-151279] [VERBINDING MAKEN] Berichtparameters doorgeven in metagegevens van ErrorInfo
  • [SPARK-46397] Herstel "[SC-151311][PYTHON][CONNECT] Functie sha2 moet worden gegenereerd PySparkValueError voor ongeldige numBits"
  • [SPARK-46170] [SC-149472] [SQL] Ondersteuning voor het injecteren van adaptieve query's na planner-strategieregels in SparkSessionExtensions
  • [SPARK-46444] [SC-151195] [SQL] V2SessionCatalog#createTable mag de tabel niet laden
  • [SPARK-46397] [SC-151311] [PYTHON] [VERBINDING MAKEN] De functie sha2 moet worden geactiveerd PySparkValueError voor ongeldig numBits
  • [SPARK-46145] [SC-149471] [SQL] spark.catalog.listTables genereert geen uitzondering wanneer de tabel of weergave niet wordt gevonden
  • [SPARK-46272] [SC-151012] [SQL] Ondersteuning voor CTAS met behulp van DSv2-bronnen
  • [SPARK-46480] [SC-151127] [CORE] [SQL] NPE herstellen wanneer een taakpoging in de tabelcache wordt uitgevoerd
  • [SPARK-46100] [SC-149051] [CORE] [PYTHON] Verklein de stackdiepte door te vervangen (tekenreeks|matrix).grootte door (tekenreeks|matrix).lengte
  • [SPARK-45795] [SC-150764] [SQL] DS V2 ondersteunt push-downmodus
  • [SPARK-46485] [SC-151133] [SQL] V1Write mag geen sortering toevoegen wanneer dit niet nodig is
  • [SPARK-46468] [SC-151121] [SQL] AANTAL-fout verwerken voor EXISTS-subquery's met aggregaties zonder groeperingssleutels
  • [SPARK-46246] [SC-150927] [SQL] DIRECTE SQL-ondersteuning UITVOEREN
  • [SPARK-46498] [SC-151199] [CORE] Verwijderen shuffleServiceEnabled uit o.a.spark.util.Utils#getConfiguredLocalDirs
  • [SPARK-46440] [SC-150807] [SQL] De rebase-configuraties standaard instellen op de CORRECTED modus
  • [SPARK-45525] [SC-151120] [SQL] [PYTHON] Ondersteuning voor schrijven van Python-gegevensbronnen met behulp van DSv2
  • [SPARK-46505] [SC-151187] [VERBINDING MAKEN] Drempelwaarde voor bytes configureren in ProtoUtils.abbreviate
  • [SPARK-46447] [SC-151025] [SQL] De verouderde sql-configuraties voor datum/tijd opnieuw maken verwijderen
  • [SPARK-46443] [SC-151123] [SQL] Decimaal precisie en schaal moeten worden bepaald door H2 dialect.
  • [SPARK-46384] [SC-150694] [SPARK-46404] [SS] [UI] Probleem met stackgrafiek voor bewerkingsduur op gestructureerde streamingpagina oplossen
  • [SPARK-46207] [SC-151068] [SQL] Ondersteuning voor MergeInto in DataFrameWriterV2
  • [SPARK-46452] [SC-151018] [SQL] Een nieuwe API toevoegen in DataWriter om een iterator van records te schrijven
  • [SPARK-46273] [SC-150313] [SQL] INSERT INTO/OVERWRITE ondersteunen met behulp van DSv2-bronnen
  • [SPARK-46344] [SC-150267] [CORE] Waarschuwen wanneer er een stuurprogramma bestaat, maar de verbinding met de master is verbroken
  • [SPARK-46284] [SC-149944] [PYTHON] [VERBINDING MAKEN] Functie toevoegen session_user aan Python
  • [SPARK-46043] [SC-149786] [SQL] Ondersteuning voor het maken van een tabel met behulp van DSv2-bronnen
  • [SPARK-46323] [SC-150191] [PYTHON] De uitvoernaam van pyspark.sql.functions.now herstellen
  • [SPARK-46465] [SC-151059] [PYTHON] [VERBINDING MAKEN] Toevoegen Column.isNaN in PySpark
  • [SPARK-46456] [SC-151050] [CORE] Toevoegen spark.ui.jettyStopTimeout om time-out voor stoppen van Jetty-server in te stellen om het afsluiten van SparkContext op te heffen
  • [SPARK-43427] [SC-150356] [PROTOBUF] spark protobuf: upcasting unsigned integer types toestaan
  • [SPARK-46399] [SC-151013] [14.x] [Core] Afsluitstatus toevoegen aan de gebeurtenis Application End voor het gebruik van Spark Listener
  • [SPARK-46423] [SC-150752] [PYTHON] [SQL] Het Python-gegevensbronexemplaren maken op DataSource.lookupDataSourceV2
  • [SPARK-46424] [SC-150765] [PYTHON] [SQL] Metrische Python-gegevens in Python-gegevensbron ondersteunen
  • [SPARK-46330] [SC-151015] Het laden van Spark UI-blokken voor een lange periode wanneer HybridStore is ingeschakeld
  • [SPARK-46378] [SC-150397] [SQL] Nog steeds sorteren verwijderen na het converteren van aggregaties naar Project
  • [SPARK-45506] [SC-146959] [VERBINDING MAKEN] Ivy URI-ondersteuning toevoegen aan Spark Verbinding maken addArtifact
  • [SPARK-45814] [SC-147871] [VERBINDING MAKEN] [SQL] Maak ArrowConverters.createEmptyArrowBatch call close() om geheugenlekken te voorkomen
  • [SPARK-46427] [SC-150759] [PYTHON] [SQL] De beschrijving van de Python-gegevensbron wijzigen zodat deze mooi wordt uitgelegd
  • [SPARK-45597] [SC-150730] [PYTHON] [SQL] Ondersteuning voor het maken van een tabel met behulp van een Python-gegevensbron in SQL (DSv2 exec)
  • [SPARK-46402] [SC-150700] [PYTHON] GetMessageParameters en getQueryContext-ondersteuning toevoegen
  • [SPARK-46453] [SC-150897] [VERBINDING MAKEN] Uitzondering van internalError() inwerpen SessionHolder
  • [SPARK-45758] [SC-147454] [SQL] Een mapper introduceren voor hadoop-compressiecodecs
  • [SPARK-46213] [PYTHON] Introduceren PySparkImportError voor foutframework
  • [SPARK-46230] [SC-149960] [PYTHON] Migreren RetriesExceeded naar PySpark-fout
  • [SPARK-45035] [SC-145887] [SQL] Fix ignoreCorruptFiles/ignoreMissingFiles with multiline CSV/JSON will report error
  • [SPARK-46289] [SC-150846] [SQL] Ondersteuning voor het ordenen van UDT's in de geïnterpreteerde modus
  • [SPARK-46229] [SC-150798] [PYTHON] [VERBINDING MAKEN] ApplyInArrow toevoegen aan groupBy en cogroup in Spark Verbinding maken
  • [SPARK-46420] [SC-150847] [SQL] Ongebruikt transport verwijderen in SparkSQLCLIDriver
  • [SPARK-46226] [PYTHON] Alle resterende RuntimeError migreren naar het PySpark-foutframework
  • [SPARK-45796] [SC-150613] [SQL] OndersteuningSMODUS() BINNEN GROEP (ORDER BY col)
  • [SPARK-40559] [SC-149686] [PYTHON] [14.X] ApplyInArrow toevoegen aan groupBy en cogroup
  • [SPARK-46069] [SC-149672] [SQL] Ondersteuning voor tijdstempeltype voor uitpakken tot datumtype
  • [SPARK-46406] [SC-150770] [SQL] Een naam toewijzen aan de foutklasse _LEGACY_ERROR_TEMP_1023
  • [SPARK-46431] [SC-150782] [SS] Converteren IllegalStateException naar internalError in sessie-iterators
  • [SPARK-45807] [SC-150751] [SQL] ViewCatalog-API verbeteren
  • [SPARK-46009] [SC-149771] [SQL] [VERBINDING MAKEN] De parseringsregel van PercentileCont en PercentileDisc samenvoegen in functionCall
  • [SPARK-46403] [SC-150756] [SQL] Parquet-binair decoderen met getBytesUnsafe-methode
  • [SPARK-46389] [SC-150779] [CORE] Sluit het RocksDB/LevelDB exemplaar handmatig wanneer checkVersion er een uitzondering wordt gegenereerd
  • [SPARK-46360] [SC-150376] [PYTHON] Foutopsporing verbeteren met nieuwe getMessage API
  • [SPARK-46233] [SC-149766] [PYTHON] Alle resterende AttributeError migreren naar het PySpark-foutframework
  • [SPARK-46394] [SC-150599] [SQL] Problemen met spark.catalog.listDatabases() in schema's met speciale tekens oplossen wanneer deze zijn spark.sql.legacy.keepCommandOutputSchema ingesteld op waar
  • [SPARK-45964] [SC-148484] [SQL] Persoonlijke SQL-accessor verwijderen in XML- en JSON-pakket onder katalysatorpakket
  • [SPARK-45856] [SC-148691] ArtifactManager verplaatsen van Spark-Verbinding maken naar SparkSession (sql/core)
  • [SPARK-46409] [SC-150714] [VERBINDING MAKEN] Startscript spark-connect-scala-client herstellen
  • [SPARK-46416] [SC-150699] [CORE] Toevoegen @tailrec aan HadoopFSUtils#shouldFilterOutPath
  • [SPARK-46115] [SC-149154] [SQL] Tekenssets beperken in encode()
  • [SPARK-46253] [SC-150416] [PYTHON] Python-gegevensbron plannen met MapInArrow
  • [SPARK-46339] [SC-150266] [SS] Map met naam van batchnummer mag niet worden behandeld als metagegevenslogboek
  • [SPARK-46353] [SC-150396] [CORE] Herstructureren om de dekking van eenheidstests te verbeteren RegisterWorker
  • [SPARK-45826] [SC-149061] [SQL] Een SQL-configuratie voor stacktraceringen toevoegen in de DataFrame-querycontext
  • [SPARK-45649] [SC-150300] [SQL] Het voorbereidingsframe samenvoegen voor OffsetWindowFunctionFrame
  • [SPARK-46346] [SC-150282] [CORE] Model herstellen om een werkrol van UNKNOWN naar op RegisterWorker msg bij te ALIVE werken
  • [SPARK-46388] [SC-150496] [SQL] HiveAnalysis mist de patroonbescherming van query.resolved
  • [SPARK-46401] [SC-150609] [CORE] RoaringBitmap Gebruiken !isEmpty() in plaats van getCardinality() > 0 inRemoteBlockPushResolver
  • [SPARK-46393] [SC-150603] [SQL] Uitzonderingen classificeren in de JDBC-tabelcatalogus
  • [SPARK-45798] [SC-150513] [VERBINDING MAKEN] Opvolgen: serverSessionId toevoegen aan SessionHolderInfo
  • [SPARK-46153] [SC-146564] [SC-150508] [SQL] XML: TimestampNTZType-ondersteuning toevoegen
  • [SPARK-46075] [SC-150393] [VERBINDING MAKEN] Verbeteringen in Spark Verbinding maken SessionManager
  • [SPARK-46357] [SC-150596] Onjuist documentatiegebruik van setConf vervangen door conf.set
  • [SPARK-46202] [SC-150420] [VERBINDING MAKEN] Nieuwe ArtifactManager-API's beschikbaar maken ter ondersteuning van aangepaste doelmappen
  • [SPARK-45824] [SC-147648] [SQL] De foutklasse afdwingen in ParseException
  • [SPARK-45845] [SC-148163] [SS] [UI] Aantal verwijderde statusrijen toevoegen aan streaminggebruikersinterface
  • [SPARK-46316] [SC-150181] [CORE] Inschakelen buf-lint-action in core module
  • [SPARK-45816] [SC-147656] [SQL] Retourneren NULL wanneer overlopen tijdens het gieten van tijdstempels naar gehele getallen
  • [SPARK-46333] [SC-150263] [SQL] Vervangen IllegalStateException door SparkException.internalError in katalysator
  • [SPARK-45762] [SC-148486] [CORE] Ondersteuning voor shuffle-managers die zijn gedefinieerd in gebruikers-JAR's door de opstartvolgorde te wijzigen
  • [SPARK-46239] [SC-149752] [CORE] Informatie verbergen Jetty
  • [SPARK-45886] [SC-148089] [SQL] Volledige stacktracering uitvoeren in callSite dataframe-context
  • [SPARK-46290] [SC-150059] [PYTHON] SaveMode wijzigen in een booleaanse vlag voor DataSourceWriter
  • [SPARK-45899] [SC-148097] [VERBINDING MAKEN] Set errorClass in errorInfoToThrowable
  • [SPARK-45841] [SC-147657] [SQL] Stacktracering beschikbaar maken op DataFrameQueryContext
  • [SPARK-45843] [SC-147721] [CORE] Ondersteuning killall in REST Submission API
  • [SPARK-46234] [SC-149711] [PYTHON] Introduceren PySparkKeyError voor PySpark-foutframework
  • [SPARK-45606] [SC-147655] [SQL] Releasebeperkingen voor runtimefilter met meerdere lagen
  • [SPARK-45725] [SC-147006] [SQL] Het niet-standaard IN-subqueryruntimefilter verwijderen
  • [SPARK-45694] [SC-147314] [SPARK-45695] [SQL] Afgeschaft API-gebruik View.force opschonen en ScalaNumberProxy.signum
  • [SPARK-45805] [SC-147488] [SQL] Algemener maken withOrigin
  • [SPARK-46292] [SC-150086] [CORE] [UI] Een samenvatting van werkrollen weergeven in MasterPage
  • [SPARK-45685] [SC-146881] [CORE] [SQL] Gebruiken LazyList in plaats van Stream
  • [SPARK-45888] [SC-149945] [SS] Foutklasseframework toepassen op statusgegevensbron (metagegevens)
  • [SPARK-46261] [SC-150111] [VERBINDING MAKEN] DataFrame.withColumnsRenamed moet de volgorde van dicteren/kaarten behouden
  • [SPARK-46263] [SC-149933] [SQL] [SS] [ML] [MLLIB] [UI] SeqOps.view Opschonen en ArrayOps.view conversies
  • [SPARK-46029] [SC-149255] [SQL] Escape the single quote, _ and % for DS V2 pushdown
  • [SPARK-46275] [SC-150189] Protobuf: Retourneer null in de permissieve modus wanneer deserialisatie mislukt.
  • [SPARK-46320] [SC-150187] [CORE] Ondersteuning spark.master.rest.host
  • [SPARK-46092] [SC-149658] [SQL] Push geen Parquet-rijgroepfilters die overlopen
  • [SPARK-46300] [SC-150097] [PYTHON] [VERBINDING MAKEN] Vergelijken met secundair gedrag in Kolom met volledige testdekking
  • [SPARK-46298] [SC-150092] [PYTHON] [VERBINDING MAKEN] Overeenkomst met afschaffingswaarschuwing, testcase en fout van Catalog.createExternalTable
  • [SPARK-45689] [SC-146898] [SPARK-45690] [SPARK-45691] [CORE] [SQL] Het afgeschafte API-gebruik opschonen met betrekking tot StringContext/StringOps/RightProjection/LeftProjection/Either en het type gebruik van BufferedIterator/CanBuildFrom/Traversable
  • [SPARK-33393] [SC-148407] [SQL] ONDERSTEUNING VOOR SHOW TABLE EXTENDED in v2
  • [SPARK-45737] [SC-147011] [SQL] Overbodig verwijderen .toArray[InternalRow] in SparkPlan#executeTake
  • [SPARK-46249] [SC-149797] [SS] Exemplaarvergrendeling vereisen voor het verkrijgen van metrische gegevens van RocksDB om race met achtergrondbewerkingen te voorkomen
  • [SPARK-46260] [SC-149940] [PYTHON] [SQL] DataFrame.withColumnsRenamed moet de volgorde van de dicteren respecteren
  • [SPARK-46274] [SC-150043] [SQL] Fix Range operator computeStats() om lange geldigheid te controleren voordat deze wordt geconverteerd
  • [SPARK-46040] [SC-149767] [SQL] [Python] UDTF-API bijwerken voor het partitioneren/ordenen van kolommen om algemene expressies te ondersteunen
  • [SPARK-46287] [SC-149949] [PYTHON] [VERBINDING MAKEN] DataFrame.isEmpty moet werken met alle gegevenstypen
  • [SPARK-45678] [SC-146825] [CORE] Cover BufferReleasingInputStream.available/reset under tryOrFetchFailedException
  • [SPARK-45667] [SC-146716] [CORE] [SQL] [VERBINDING MAKEN] Het afgeschafte API-gebruik opschonen met betrekking tot IterableOnceExtensionMethods.
  • [SPARK-43980] [SC-148992] [SQL] introductiesyntaxis select * except
  • [SPARK-46269] [SC-149816] [PS] Meer NumPy-compatibiliteitsfunctietests inschakelen
  • [SPARK-45807] [SC-149851] [SQL] CreateOrReplaceView(..) / replaceView(..) toevoegen aan ViewCatalog
  • [SPARK-45742] [SC-147212] [CORE] [VERBINDING MAKEN] [MLLIB] [PYTHON] Introduceer een impliciete functie voor Scala Array om in immutable.ArraySeqte pakken.
  • [SPARK-46205] [SC-149655] [CORE] Prestaties verbeteren PersistenceEngine met KryoSerializer
  • [SPARK-45746] [SC-149359] [Python] Specifieke foutberichten retourneren als de methode UDTF 'analyze' of 'eval' onjuiste waarden accepteert of retourneert
  • [SPARK-46186] [SC-149707] [VERBINDING MAKEN] Ongeldige statusovergang oplossen wanneer ExecuteThreadRunner werd onderbroken voordat deze werd gestart
  • [SPARK-46262] [SC-149803] [PS] Test inschakelen voor np.left_shift Pandas-on-Spark-object.
  • [SPARK-45093] [SC-149679] [VERBINDING MAKEN] [PYTHON] Foutafhandeling en conversie voor AddArtifactHandler op de juiste manier ondersteunen
  • [SPARK-46188] [SC-149571] [Doc] [3.5] Corrigen de CSS van de gegenereerde tabellen van spark-documenten
  • [SPARK-45940] [SC-149549] [PYTHON] InputPartition toevoegen aan de DataSourceReader-interface
  • [SPARK-43393] [SC-148301] [SQL] Overloopfout in adresreeksexpressie.
  • [SPARK-46144] [SC-149466] [SQL] INSERT INTO mislukt... REPLACE-instructie als de voorwaarde subquery bevat
  • [SPARK-46118] [SC-149096] [SQL] [SS] [VERBINDING MAKEN] Gebruiken SparkSession.sessionState.conf in plaats van SQLContext.conf en markeren SQLContext.conf als afgeschaft
  • [SPARK-45760] [SC-147550] [SQL] Toevoegen met expressie om te voorkomen dat expressies worden gedupliceerd
  • [SPARK-43228] [SC-149670] [SQL] Joinsleutels komen ook overeen met PartitioningCollection in CoalesceBucketsInJoin
  • [SPARK-46223] [SC-149691] [PS] SparkPandasNotImplementedError testen met het opschonen van ongebruikte code
  • [SPARK-46119] [SC-149205] [SQL] toString Onderdrukkingsmethode voor UnresolvedAlias
  • [SPARK-46206] [SC-149674] [PS] Een beperktere scope-uitzondering gebruiken voor SQL-processor
  • [SPARK-46191] [SC-149565] [CORE] Fout msg verbeteren FileSystemPersistenceEngine.persist in het geval van het bestaande bestand
  • [SPARK-46036] [SC-149356] [SQL] Foutklasse verwijderen uit raise_error functie
  • [SPARK-46055] [SC-149254] [SQL] Implementatie van database-API's voor catalogus herschrijven
  • [SPARK-46152] [SC-149454] [SQL] XML: Ondersteuning voor DecimalType toevoegen in xml-schemadeductie
  • [SPARK-45943] [SC-149452] [SQL] DetermineTableStats verplaatsen naar oplossingsregels
  • [SPARK-45887] [SC-148994] [SQL] Implementatie van codegen en niet-codegen uitlijnen Encode
  • [SPARK-45022] [SC-147158] [SQL] Context opgeven voor api-fouten in de gegevensset
  • [SPARK-45469] [SC-145135] [CORE] [SQL] [VERBINDING MAKEN] [PYTHON] Vervangen toIterator door iterator voor IterableOnce
  • [SPARK-46141] [SC-149357] [SQL] Standaard wijzigen voor spark.sql.legacy.ctePrecedencePolicy in CORRECTED
  • [SPARK-45663] [SC-146617] [CORE] [MLLIB] Vervangen IterableOnceOps#aggregate door IterableOnceOps#foldLeft
  • [SPARK-45660] [SC-146493] [SQL] Letterlijke objecten opnieuw gebruiken in de computeCurrentTime-regel
  • [SPARK-45803] [SC-147489] [CORE] Verwijder de niet meer gebruikte RpcAbortException
  • [SPARK-46148] [SC-149350] [PS] Test pyspark.pandas.mlflow.load_model opgelost (Python 3.12)
  • [SPARK-46110] [SC-149090] [PYTHON] Foutklassen gebruiken in catalogus, conf, verbinding maken, observatie, pandas-modules
  • [SPARK-45827] [SC-149203] [SQL] Oplossingen voor varianten waarbij codegen en vectorized reader zijn uitgeschakeld
  • [SPARK-46080] [SC-149012][PYTHON] Cloudpickle upgraden naar 3.0.0"
  • [SPARK-45460] [SC-144852] [SQL] Vervangen scala.collection.convert.ImplicitConversions door scala.jdk.CollectionConverters
  • [SPARK-46073] [SC-149019] [SQL] Verwijder de speciale resolutie van UnresolvedNamespace voor bepaalde opdrachten
  • [SPARK-45600] [SC-148976] [PYTHON] Sessieniveau voor registratie van Python-gegevensbron maken
  • [SPARK-46074] [SC-149063] [VERBINDING MAKEN] [SCALA] Onvoldoende details in foutbericht over UDF-fout
  • [SPARK-46114] [SC-149076] [PYTHON] PySparkIndexError toevoegen voor foutframework
  • [SPARK-46120] [SC-149083] [VERBINDING MAKEN] [PYTHON] Helperfunctie verwijderen DataFrame.withPlan
  • [SPARK-45927] [SC-148660] [PYTHON] Padafhandeling voor Python-gegevensbron bijwerken
  • [SPARK-46062] [14.x] [SC-148991] [SQL] Sync the isStreaming flag between CTE definition and reference
  • [SPARK-45698] [SC-146736] [CORE] [SQL] [SS] Het afgeschafte API-gebruik opschonen met betrekking tot Buffer
  • [SPARK-46064] [SC-148984] [SQL] [SS] Verwijder EliminateEventTimeWatermark naar de analyse en wijzig deze zodat deze alleen van kracht wordt op opgeloste onderliggende items
  • [SPARK-45922] [SC-149038] [VERBINDING MAKEN] [CLIENT] Kleine herstructurering van nieuwe pogingen (opvolging van meerdere beleidsregels)
  • [SPARK-45851] [SC-148419] [VERBINDING MAKEN] [SCALA] Ondersteuning voor meerdere beleidsregels in scala-client
  • [SPARK-45974] [SC-149062] [SQL] Scan.filterAttributes niet-leeg oordeel toevoegen voor RowLevelOperationRuntimeGroupFiltering
  • [SPARK-46085] [SC-149049] [VERBINDING MAKEN] Dataset.groupingSets in Scala Spark Verbinding maken-client
  • [SPARK-45136] [SC-146607] [VERBINDING MAKEN] ClosureCleaner verbeteren met Ammonite-ondersteuning
  • [SPARK-46084] [SC-149020] [PS] De cast-bewerking van het gegevenstype herstructureren voor categorisch type.
  • [SPARK-46083] [SC-149018] [PYTHON] SparkNoSuchElementException maken als een canonieke fout-API
  • [SPARK-46048] [SC-148982] [PYTHON] [VERBINDING MAKEN] Ondersteuning voor DataFrame.groupingSets in Python Spark Verbinding maken
  • [SPARK-46080] [SC-149012] [PYTHON] Cloudpickle upgraden naar 3.0.0
  • [SPARK-46082] [SC-149015] [PYTHON] [VERBINDING MAKEN] Fix protobuf string representation for Pandas Functions API with Spark Verbinding maken
  • [SPARK-46065] [SC-148985] [PS] Herstructureren (DataFrame|Series).factorize() om te gebruiken create_map.
  • [SPARK-46070] [SC-148993] [SQL] Compileer regex-patroon in SparkDateTimeUtils.getZoneId buiten de hot-lus
  • [SPARK-46063] [SC-148981] [PYTHON] [VERBINDING MAKEN] Foutberichten met betrekking tot argumenttypen verbeteren in schattige, rollup, groupby en pivot
  • [SPARK-44442] [SC-144120] [MESOS] Mesos-ondersteuning verwijderen
  • [SPARK-45555] [SC-147620] [PYTHON] Bevat een foutopsporingsobject voor mislukte assertie
  • [SPARK-46048] [SC-148871] [PYTHON] [SQL] Ondersteuning voor DataFrame.groupingSets in PySpark
  • [SPARK-45768] [SC-147304] [SQL] [PYTHON] Een runtimeconfiguratie maken voor python-uitvoering in SQL
  • [SPARK-45996] [SC-148586] [PYTHON] [VERBINDING MAKEN] De juiste berichten over afhankelijkheidsvereisten voor Spark-Verbinding maken weergeven
  • [SPARK-45681] [SC-146893] [UI] Kloon een js-versie van UIUtils.errorMessageCell voor consistente foutweergave in de gebruikersinterface
  • [SPARK-45767] [SC-147225] [CORE] Verwijderen TimeStampedHashMap en de bijbehorende UT
  • [SPARK-45696] [SC-148864] [CORE] Methode tryCompleteWith in trait Promise is afgeschaft
  • [SPARK-45503] [SC-146338] [SS] Conf toevoegen om RocksDB-compressie in te stellen
  • [SPARK-45338] [SC-143934] [CORE] [SQL] Vervangen scala.collection.JavaConverters door scala.jdk.CollectionConverters
  • [SPARK-44973] [SC-148804] [SQL] Oplossing ArrayIndexOutOfBoundsException in conv()
  • [SPARK-45912] [SC-144982] [SC-148467] [SQL] Uitbreiding van XSDToSchema-API: Wijzigen in HDFS-API voor toegankelijkheid in cloudopslag
  • [SPARK-45819] [SC-147570] [CORE] Ondersteuning clear in REST Submission API
  • [SPARK-45552] [14.x] [SC-146874] [PS] Flexibele parameters introduceren voor assertDataFrameEqual
  • [SPARK-45815] [SC-147877] [SQL] [Streaming] [14.x] [CHERRY-PICK] Een interface opgeven voor andere streamingbronnen om kolommen toe te voegen _metadata
  • [SPARK-45929] [SC-148692] [SQL] Ondersteuning voor groupingSets-bewerking in dataframe-API
  • [SPARK-46012] [SC-148693] [CORE] EventLogFileReader mag geen rolling logboeken lezen als het app-statusbestand ontbreekt
  • [SPARK-45965] [SC-148575] [SQL] DSv2-partitioneringsexpressies verplaatsen naar functions.partitioning
  • [SPARK-45971] [SC-148541] [CORE] [SQL] Corrigeer de pakketnaam van SparkCollectionUtils aan org.apache.spark.util
  • [SPARK-45688] [SC-147356] [SPARK-45693] [CORE] Het afgeschafte API-gebruik opschonen met betrekking tot MapOps & fix method += in trait Growable is deprecated
  • [SPARK-45962] [SC-144645] [SC-148497] [SQL] Optie verwijderen treatEmptyValuesAsNulls en gebruiken nullValue in plaats daarvan in XML
  • [SPARK-45988] [SC-148580] [SPARK-45989] [PYTHON] Typehints corrigeren voor het afhandelen list van GenericAlias in Python 3.11+
  • [SPARK-45999] [SC-148595] [PS] PandasProduct Toegewezen gebruiken in cumprod
  • [SPARK-45986] [SC-148583] [ML] [PYTHON] Oplossing pyspark.ml.torch.tests.test_distributor in Python 3.11
  • [SPARK-45994] [SC-148581] [PYTHON] Wijzigen description-file in description_file
  • [SPARK-45575] [SC-146713] [SQL] Opties voor tijdreizen voor df-lees-API ondersteunen
  • [SPARK-45747] [SC-148404] [SS] Sleutelinformatie voor voorvoegsel gebruiken in statusmetagegevens voor het afhandelen van de leesstatus voor aggregatie van sessievensters
  • [SPARK-45898] [SC-148213] [SQL] Api's voor catalogustabel herschrijven om een niet-opgelost logisch plan te gebruiken
  • [SPARK-45828] [SC-147663] [SQL] Afgeschafte methode verwijderen in dsl
  • [SPARK-45990] [SC-148576] [SPARK-45987] [PYTHON] [VERBINDING MAKEN] Upgrade protobuf naar 4.25.1 ter ondersteuning Python 3.11
  • [SPARK-45911] [SC-148226] [CORE] TLS1.3 de standaardwaarde maken voor RPC SSL
  • [SPARK-45955] [SC-148429] [UI] Ondersteuning voor Flamegraph- en threaddumpdetails samenvouwen
  • [SPARK-45936] [SC-148392] [PS] Optimaliseren Index.symmetric_difference
  • [SPARK-45389] [SC-144834] [SQL] [3.5] Juiste MetaException-overeenkomende regel voor het ophalen van partitiemetagegevens
  • [SPARK-45655] [SC-148085] [SQL] [SS] Niet-deterministische expressies in AggregateFunctions in CollectMetrics toestaan
  • [SPARK-45946] [SC-148448] [SS] Probleem opgelost met het gebruik van afgeschafte FileUtils-schrijfbewerkingen om standaard charset door te geven in RocksDBSuite
  • [SPARK-45511] [SC-148285] [SS] Statusgegevensbron - Lezer
  • [SPARK-45918] [SC-148293] [PS] Optimaliseren MultiIndex.symmetric_difference
  • [SPARK-45813] [SC-148288] [VERBINDING MAKEN] [PYTHON] De waargenomen metrische gegevens van opdrachten retourneren
  • [SPARK-45867] [SC-147916] [CORE] Ondersteuning spark.worker.idPattern
  • [SPARK-45945] [SC-148418] [VERBINDING MAKEN] Een helperfunctie toevoegen voor parser
  • [SPARK-45930] [SC-148399] [SQL] Ondersteuning voor niet-deterministische UDF's in MapInPandas/MapInArrow
  • [SPARK-45810] [SC-148356] [Python] Python UDTF-API maken om het gebruik van rijen uit de invoertabel te stoppen
  • [SPARK-45731] [SC-147929] [SQL] Ook partitiestatistieken bijwerken met ANALYZE TABLE opdracht
  • [SPARK-45868] [SC-148355] [VERBINDING MAKEN] Zorg ervoor dat spark.table u dezelfde parser gebruikt met vanille spark
  • [SPARK-45882] [SC-148161] [SQL] BroadcastHashJoinExec-doorgifte van partitionering moet de CoalescedHashPartitioning respecteren
  • [SPARK-45710] [SC-147428] [SQL] Namen toewijzen aan fout _LEGACY_ERROR_TEMP_21[59.60.61.62]
  • [SPARK-45915] [SC-148306] [SQL] Decimaal(x, 0) hetzelfde behandelen als IntegralType in PromoteStrings
  • [SPARK-45786] [SC-147552] [SQL] Onnauwkeurige decimale vermenigvuldigings- en delingsresultaten corrigeren
  • [SPARK-45871] [SC-148084] [VERBINDING MAKEN] Conversie van verzameling optimalisaties gerelateerd aan .toBuffer in de connect modules
  • [SPARK-45822] [SC-147546] [VERBINDING MAKEN] Spark Verbinding maken SessionManager kan een gestopte sparkcontext opzoeken
  • [SPARK-45913] [SC-148289] [PYTHON] Maak de interne kenmerken privé van PySpark-fouten.
  • [SPARK-45827] [SC-148201] [SQL] Voeg een variantgegevenstype toe in Spark.
  • [SPARK-44886] [SC-147876] [SQL] EEN CLUSTER BY-component introduceren voor CREATE/REPLACE TABLE
  • [SPARK-45756] [SC-147959] [CORE] Ondersteuning spark.master.useAppNameAsAppId.enabled
  • [SPARK-45798] [SC-147956] [VERBINDING MAKEN] Sessie-id aan serverzijde bevestigen
  • [SPARK-45896] [SC-148091] [SQL] Samenstellen ValidateExternalType met het juiste verwachte type
  • [SPARK-45902] [SC-148123] [SQL] Ongebruikte functie resolvePartitionColumns verwijderen uit DataSource
  • [SPARK-45909] [SC-148137] [SQL] Cast verwijderen NumericType als het veilig omhoog kan casten IsNotNull
  • [SPARK-42821] [SC-147715] [SQL] Ongebruikte parameters verwijderen in splitFiles-methoden
  • [SPARK-45875] [SC-148088] [CORE] Verwijderen MissingStageTableRowData uit core module
  • [SPARK-45783] [SC-148120] [PYTHON] [VERBINDING MAKEN] Foutberichten verbeteren wanneer de Spark-Verbinding maken modus is ingeschakeld, maar externe URL niet is ingesteld
  • [SPARK-45804] [SC-147529] [UI] Spark.ui.threadDump.flamegraphEnabled-configuratie toevoegen om vlamgrafiek in/uit te schakelen
  • [SPARK-45664] [SC-146878] [SQL] Een mapper introduceren voor orc-compressiecodecs
  • [SPARK-45481] [SC-146715] [SQL] Een mapper introduceren voor parquet-compressiecodecs
  • [SPARK-45752] [SC-148005] [SQL] Vereenvoudig de code voor het controleren van niet-deductie CTE-relaties
  • [SPARK-44752] [SC-146262] [SQL] XML: Spark Docs bijwerken
  • [SPARK-45752] [SC-147869] [SQL] Niet-deductie CTE moet allemaal worden gecontroleerd door CheckAnalysis0
  • [SPARK-45842] [SC-147853] [SQL] Functie-API's van catalogus herstructureren om analyse te gebruiken
  • [SPARK-45639] [SC-147676] [SQL] [PYTHON] Ondersteuning voor het laden van Python-gegevensbronnen in DataFrameReader
  • [SPARK-45592] [SC-146977] [SQL] Probleem met juistheid in AQE met InMemoryTableScanExec
  • [SPARK-45794] [SC-147646] [SS] Een bron voor statusmetagegevens introduceren om een query uit te voeren op de metagegevensgegevens van de streamingstatus
  • [SPARK-45739] [SC-147059] [PYTHON] IoException vangen in plaats van EOFException alleen voor faulthandler
  • [SPARK-45677] [SC-146700] Betere logboekregistratie van fouten voor observatie-API
  • [SPARK-45544] [SC-146873] [CORE] SSL-ondersteuning integreren in TransportContext
  • [SPARK-45654] [SC-147152] [PYTHON] Schrijf-API voor Python-gegevensbronnen toevoegen
  • [SPARK-45771] [SC-147270] [CORE] Standaard inschakelen spark.eventLog.rolling.enabled
  • [SPARK-45713] [SC-146986] [PYTHON] Ondersteuning voor het registreren van Python-gegevensbronnen
  • [SPARK-45656] [SC-146488] [SQL] Observatie oplossen wanneer benoemde waarnemingen met dezelfde naam op verschillende gegevenssets staan
  • [SPARK-45808] [SC-147571] [VERBINDING MAKEN] [PYTHON] Betere foutafhandeling voor SQL-uitzonderingen
  • [SPARK-45774] [SC-147353] [CORE] [UI] Ondersteuning spark.master.ui.historyServerUrl in ApplicationPage
  • [SPARK-45776] [SC-147327] [CORE] Verwijder de defensieve null-controle voor MapOutputTrackerMaster#unregisterShuffle toegevoegde spark-39553
  • [SPARK-45780] [SC-147410] [VERBINDING MAKEN] Alle Spark Verbinding maken clientthreads doorgeven in InheritableThread
  • [SPARK-45785] [SC-147419] [CORE] Ondersteuning spark.deploy.appNumberModulo voor het roteren van het app-nummer
  • [SPARK-45793] [SC-147456] [CORE] De ingebouwde codecs voor compressie verbeteren
  • [SPARK-45757] [SC-147282] [ML] Vermijd herberekening van NNZ in Binarizer
  • [SPARK-45209] [SC-146490] [CORE] [UI] Flame Graph-ondersteuning voor de dumppagina van executorthread
  • [SPARK-45777] [SC-147319] [CORE] Ondersteuning spark.test.appId in LocalSchedulerBackend
  • [SPARK-45523] [SC-146331] [PYTHON] De null-controle herstructureren om snelkoppelingen te hebben
  • [SPARK-45711] [SC-146854] [SQL] Een mapper introduceren voor avro-compressiecodecs
  • [SPARK-45523] [SC-146077] [Python] Retourneert een nuttig foutbericht als UDTF geen retourneert voor een niet-null-kolom
  • [SPARK-45614] [SC-146729] [SQL] Namen toewijzen aan fout _LEGACY_ERROR_TEMP_215[6,7,8]
  • [SPARK-45755] [SC-147164] [SQL] Verbeteren Dataset.isEmpty() door globale limiet toe te passen 1
  • [SPARK-45569] [SC-145915] [SQL] Naam toewijzen aan de fout _LEGACY_ERROR_TEMP_2153
  • [SPARK-45749] [SC-147153] [CORE] [WEBUI] Oplossing Spark History Server om de kolom correct te sorteren Duration
  • [SPARK-45754] [SC-147169] [CORE] Ondersteuning spark.deploy.appIdPattern
  • [SPARK-45707] [SC-146880] [SQL] Vereenvoudigen DataFrameStatFunctions.countMinSketch met CountMinSketchAgg
  • [SPARK-45753] [SC-147167] [CORE] Ondersteuning spark.deploy.driverIdPattern
  • [SPARK-45763] [SC-147177] [CORE] [UI] Verbeteren MasterPage om alleen kolom weer te geven Resource wanneer deze bestaat
  • [SPARK-45112] [SC-143259] [SQL] Oplossing op basis van UnresolvedFunction gebruiken in SQL Dataset-functies

Ondersteuning voor Databricks ODBC-/JDBC-stuurprogramma's

Databricks ondersteunt ODBC-/JDBC-stuurprogramma's die in de afgelopen 2 jaar zijn uitgebracht. Download de onlangs uitgebrachte stuurprogramma's en upgrade (download ODBC, download JDBC).

Onderhoudsupdates

Zie onderhoudsupdates voor Databricks Runtime 14.3. Dit is commentaar bij de eerste release.

Systeemomgeving

  • Besturingssysteem: Ubuntu 22.04.3 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.3.1
  • Delta Lake: 3.1.0

Geïnstalleerde Python-bibliotheken

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-bindingen 21.2.0
asttokens 2.0.5 attrs 22.1.0 backcall 0.2.0
beautifulsoup4 4.11.1 zwart 22.6.0 Bleekmiddel 4.1.0
knipperen 1.4 boto3 1.24.28 botocore 1.27.96
certifi 2022.12.7 Cffi 1.15.1 Chardet 4.0.0
charset-normalizer 2.0.4 klikken 8.0.4 comm 0.1.2
contourpy 1.0.5 Cryptografie 39.0.1 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.1.6 dbus-python 1.2.18
foutopsporing 1.6.7 Decorator 5.1.1 defusedxml 0.7.1
distlib 0.3.7 docstring-to-markdown 0,11 invoerpunten 0,4
Uitvoeren 0.8.3 facets-overview 1.1.1 fastjsonschema 2.19.1
filelock 3.13.1 Fonttools 4.25.0 googleapis-common-protos 1.62.0
grpcio 1.48.2 grpcio-status 1.48.1 httplib2 0.20.2
idna 3.4 importlib-metadata 4.6.4 ipykernel 6.25.0
Ipython 8.14.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
Jedi 0.18.1 Jeepney 0.7.1 Jinja2 3.1.2
jmespath 0.10.0 joblib 1.2.0 jsonschema 4.17.3
jupyter-client 7.3.4 jupyter-server 1.23.4 jupyter_core 5.2.0
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 Keyring 23.5.0
kiwisolver 1.4.4 Launchpadlib 1.10.16 lazr.restfulclient 0.14.4
Lazr.uri 1.0.6 Lxml 4.9.1 MarkupSafe 2.1.1
matplotlib 3.7.0 matplotlib-inline 0.1.6 Mccabe 0.7.0
mistune 0.8.4 more-itertools 8.10.0 mypy-extensions 0.4.3
nbclassic 0.5.2 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 nodeenv 1.8.0
notebook 6.5.2 notebook_shim 0.2.2 Numpy 1.23.5
oauthlib 3.2.0 Verpakking 23.2 Pandas 1.5.3
pandocfilters 1.5.0 parso 0.8.3 pathspec 0.10.3
Patsy 0.5.3 Pexpect 4.8.0 pickleshare 0.7.5
Kussen 9.4.0 Pip 22.3.1 platformdirs 2.5.2
plotly 5.9.0 pluggy 1.0.0 prometheus-client 0.14.1
prompt-toolkit 3.0.36 protobuf 4.24.0 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pyarrow-hotfix 0,5 pycparser 2.21
pydantic 1.10.6 Pyflakes 3.1.0 Pygments 2.11.2
Pygobject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
Pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 python-lsp-server 1.8.0
pytoolconfig 1.2.5 pytz 2022.7 pyzmq 23.2.0
requests 2.28.1 Touw 1.7.0 s3transfer 0.6.2
scikit-learn 1.1.1 Scipy 1.10.0 seaborn 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 Setuptools 65.6.3
Zes 1.16.0 sniffio 1.2.0 soepsieve 2.3.2.post1
ssh-import-id 5,11 stack-data 0.2.0 statsmodels 0.13.5
Vasthoudendheid 8.1.0 terminado 0.17.1 threadpoolctl 2.2.0
tinycss2 1.2.1 tokenize-rt 4.2.1 tomli 2.0.1
Tornado 6.1 traitlets 5.7.1 typing_extensions 4.4.0
ujson 5.4.0 upgrades zonder toezicht 0,1 urllib3 1.26.14
Virtualenv 20.16.7 Wadllib 1.3.6 wcwidth 0.2.5
webencodings 0.5.1 websocket-client 0.58.0 whatthepatch 1.0.2
Wiel 0.38.4 widgetsnbextension 3.6.1 yapf 0.33.0
zipp 1.0.0

Geïnstalleerde R-bibliotheken

R-bibliotheken worden geïnstalleerd vanuit de Posit Pakketbeheer CRAN-momentopname op 2023-02-10.

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
pijl 12.0.1 Askpass 1.1 assertthat 0.2.1
Backports 1.4.1 base 4.3.1 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob 1.2.4
opstarten 1.3-28 Brouwsel 1.0-8 Brio 1.1.3
Bezem 1.0.5 bslib 0.5.0 cachem 1.0.8
beller 3.7.3 caret 6.0-94 cellranger 1.1.0
Chron 2.3-61 class 7.3-22 cli 3.6.1
clipr 0.8.0 Klok 0.7.0 cluster 2.1.4
Codetools 0.2-19 Colorspace 2.1-0 commonmark 1.9.0
Compiler 4.3.1 configuratie 0.3.1 Strijd 1.2.0
cpp11 0.4.4 Crayon 1.5.2 aanmeldingsgegevens 1.3.2
curl 5.0.1 data.table 1.14.8 gegevenssets 4.3.1
DBI 1.1.3 dbplyr 2.3.3 Desc 1.4.2
Devtools 2.4.5 Diagram 1.6.5 diffobj 0.3.5
Digest 0.6.33 downlit 0.4.3 dplyr 1.1.2
dtplyr 1.3.1 e1071 1.7-13 ellipsis 0.3.2
evaluate 0.21 fansi 1.0.4 farver 2.1.1
fastmap 1.1.1 fontawesome 0.5.1 forcats 1.0.0
foreach 1.5.2 Buitenlandse 0.8-85 Forge 0.2.0
Fs 1.6.2 Toekomst 1.33.0 future.apply 1.11.0
Gorgelen 1.5.1 Generics 0.1.3 Gert 1.9.2
ggplot2 3.4.2 Gh 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 Globals 0.16.2 Lijm 1.6.2
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
afbeeldingen 4.3.1 grDevices 4.3.1 Raster 4.3.1
gridExtra 2.3 gsubfn 0,7 gtable 0.3.3
hardhat 1.3.0 haven 2.5.3 highr 0.10
Hms 1.1.3 htmltools 0.5.5 htmlwidgets 1.6.2
httpuv 1.6.11 httr 1.4.6 httr2 0.2.3
ids 1.0.1 Ini 0.3.1 Ipred 0.9-14
isoband 0.2.7 Iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 Kernsmooth 2.23-21 breiwerk 1,43
Labeling 0.4.2 Later 1.3.1 Lattice 0.21-8
lava 1.7.2.1 levenscyclus 1.0.3 listenv 0.9.0
lubridate 1.9.2 magrittr 2.0.3 Markdown 1,7
MASS 7.3-60 Matrix 1.5-4.1 memoise 2.0.1
methoden 4.3.1 Mgcv 1.8-42 Mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modeller 0.1.11
munsell 0.5.0 Nlme 3.1-163 Nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.0.6 parallel 4.3.1
parallel 1.36.0 Pijler 1.9.0 pkgbuild 1.4.2
Pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 plyr 1.8.8 Lof 1.0.0
prettyunits 1.1.1 Proc 1.18.4 processx 3.8.2
prodlim 2023.03.31 profvis 0.3.8 Voortgang 1.2.2
progressr 0.13.0 Beloften 1.2.0.1 Proto 1.0.0
Proxy 0.4-27 ps 1.7.5 Purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
Rcolorbrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
leesbewerking 2.1.4 readxl 1.4.3 recepten 1.0.6
Rematch 1.0.1 opnieuw overeenkomen2 2.1.2 Afstandsbedieningen 2.4.2
reprex 2.0.2 hervorm2 1.4.4 rlang 1.1.1
rmarkdown 2.23 RODBC 1.3-20 roxygen2 7.2.3
Rpart 4.1.21 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversions 2.1.2
rvest 1.0.3 Sass 0.4.6 Schalen 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 Vorm 1.4.6
Glanzende 1.7.4.1 sourcetools 0.1.7-1 sparklyr 1.8.1
Ruimtelijke 7.3-15 Splines 4.3.1 sqldf 0.4-11
SQUAREM 2021.1 Stats 4.3.1 stats4 4.3.1
stringi 1.7.12 stringr 1.5.0 Overleving 3.5-5
sys 3.4.2 systemfonts 1.0.4 Tcltk 4.3.1
testthat 3.1.10 tekstvorm 0.3.6 tibble 3.2.1
tidyr 1.3.0 tidyselect 1.2.0 tidyverse 2.0.0
timechange 0.2.0 Timedate 4022.108 tinytex 0,45
tools 4.3.1 tzdb 0.4.0 urlchecker 1.0.1
usethis 2.2.2 utf8 1.2.3 utils 4.3.1
uuid 1.1-0 vctrs 0.6.3 viridisLite 0.4.2
Vroom 1.6.3 Waldo 0.5.1 whisker 0.4.1
withr 2.5.0 xfun 0,39 xml2 1.3.5
xopen 1.0.0 xtable 1.8-4 Yaml 2.3.7
Zip 2.3.0

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)

Groeps-id Artefact-id Versie
Antlr Antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics Stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.13.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-gearceerd 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Klasgenoot 1.3.4
com.fasterxml.jackson.core jackson-annotaties 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.cafeïne Cafeïne 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink Tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava Guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profiler 1.1.1
com.jcraft Jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuratie 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.netje.netlib Arpack 3.0.3
dev.netje.netlib Blas 3.0.3
dev.netje.netlib Lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.25
io.delta delta-sharing-client_2.12 1.0.3
io.dropwizard.metrics metrische aantekening 4.2.19
io.dropwizard.metrics metrische gegevenskern 4.2.19
io.dropwizard.metrics metrische gegevensgrafiet 4.2.19
io.dropwizard.metrics metrische statuscontroles 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-sokken 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Collector 0.12.0
jakarta.annotatie jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activering 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction Jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
Jline Jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine Augurk 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-CSV 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr Stringtemplate 3.2.1
org.apache.ant ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow pijlnotatie 12.0.1
org.apache.arrow arrow-memory-core 12.0.1
org.apache.arrow arrow-memory-netty 12.0.1
org.apache.arrow pijlvector 12.0.1
org.apache.avro Avro 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recepten 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy Ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-gearceerd 4.23
org.apache.yetus aantekeningen voor doelgroepen 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-vervolg 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance opnieuw verpakt 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator sluimerstand-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist Javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Aantekeningen 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap Shims 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatibel 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani Xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel katten-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
Oro Oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1