Delen via

Databricks Runtime 15.0 (EoS)

  • Artikel

Notitie

Ondersteuning voor deze Databricks Runtime-versie is beëindigd. Zie de geschiedenis van einde van ondersteuning voor de einddatum van de ondersteuning. Zie de releaseversies en compatibiliteit van Databricks Runtime voor alle ondersteunde Databricks Runtime-versies.

De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 15.0, mogelijk gemaakt door Apache Spark 3.5.0.

Databricks heeft deze afbeeldingen uitgebracht in maart 2024.

Wijzigingen die fouten veroorzaken

De functie PySpark spark.sql() mislukt nu voor ongeldige argumenttypen

In Databricks Runtime 15.0 en hoger moet de args parameter voor benoemde of positionele parameters die aan de spark.sql() functie worden doorgegeven, een woordenlijst of lijst zijn. Als er een ander objecttype wordt doorgegeven, wordt de volgende fout gegenereerd: PySparkTypeError: [INVALID_TYPE] Argument `args` should not be a <arg_type>.

Het opslaan van bibliotheken in dbFS-hoofdmap is afgeschaft en standaard uitgeschakeld

Om de beveiliging van bibliotheken in een Azure Databricks-werkruimte te verbeteren, wordt het opslaan van bibliotheekbestanden in de DBFS-hoofdmap afgeschaft en standaard uitgeschakeld vanaf Databricks Runtime 15.0. Databricks raadt aan om alle bibliotheken, waaronder Python-bibliotheken, JAR-bestanden en Spark-connectors, te uploaden naar werkruimtebestanden, Unity Catalog-volumes of met behulp van een pakketopslagplaats. Zie Aanbevelingen voor het uploaden van bibliotheken.

Als u opslagbibliotheken opnieuw wilt inschakelen in de DBFS-hoofdmap, stelt u de volgende Spark-configuratieparameter in: spark.databricks.driver.dbfsLibraryInstallationAllowed true.

De standaardversie van Python wordt bijgewerkt van 3.10 naar 3.11

Met Databricks Runtime 15.0 is de standaardversie van Python 3.11.0. Zie Bibliotheekupgrades voor de lijst met bijgewerkte Python-bibliotheken.

JDK 11 wordt verwijderd

Zoals eerder aangekondigd, wordt JDK 11 verwijderd uit Databricks Runtime 15.0 en hoger. Databricks raadt u aan om een upgrade uit te voeren naar JDK 17 bij een upgrade naar Databricks Runtime 15.0 en hoger. Zie Databricks SDK voor Java.

De Python REPL wordt nu probleemloos beëindigd

Met Databricks Runtime 15.0 wordt het Python REPL-proces van het notebook nu bij het afsluiten beëindigd. Dit zorgt ervoor dat alle atexit hooks worden gehonoreerd. In een werkstroom met meerdere Python-notebooktaken worden atexit-hooks die zijn geregistreerd in de eerste taak, bijvoorbeeld uitgevoerd voordat de tweede Python-notebooktaak wordt uitgevoerd.

Nieuwe functies en verbeteringen

De component * (ster) wordt nu ondersteund in de WHERE-component

U kunt nu de stercomponent (*) in de WHERE component gebruiken om te verwijzen naar alle kolommen uit de SELECT lijst. Bijvoorbeeld: SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).

De spark.sql.json.enablePartialResults configuratie is nu standaard ingeschakeld

De Spark-configuratie spark.sql.json.enablePartialResults is nu standaard ingeschakeld, zodat de JSON-parser correct parseerfouten kan afhandelen voor complexe typen, zoals struct, toewijzing en matrix zonder de resterende velden te verwijderen. Met deze wijziging wordt een consistentieprobleem opgelost voor JSON-gegevensbronnen met het verwijderen van kolommen.

Clusterbibliotheken ondersteunen nu requirements.txt bestanden

U kunt nu clusterbibliotheken installeren met behulp van een requirements.txt bestand dat is opgeslagen in een werkruimtebestand of Unity Catalog-volume. In clusters met één gebruiker en gedeelde toegangsmodus kan het requirements.txt bestand verwijzen naar andere bestanden. In clusters in de modus Geen isolatie voor gedeelde toegang worden alleen PyPI-pakketten ondersteund. Zie Clusterbibliotheken.

Databricks CLI nu beschikbaar in de webterminal

U kunt nu de Databricks CLI gebruiken vanuit de webterminal in het notebook. Het notebook moet worden gekoppeld aan een cluster in de modus Voor één gebruiker of geen isolatie voor gedeelde toegang. Zie Webterminal en Databricks CLI gebruiken voor meer informatie.

Standaard Python-opslagplaatsen toevoegen aan clusterconfiguraties

In Databricks Runtime 15.0 en hoger kunt u globale pip index-url en extra-index-url parameters configureren voor de installatie van de cluster- en notebookbibliotheek wanneer u een cluster configureert of een clusterbeleid definieert. Hiervoor stelt u de omgevingsvariabelen DATABRICKS_PIP_INDEX_URL en DATABRICKS_PIP_EXTRA_INDEX_URL.

Bibliotheekupgrades

  • Bijgewerkte Python-bibliotheken:
    • zwart van 22.6.0 tot 23.3.0
    • boto3 van 1.24.28 tot 1.34.39
    • botocore van 1.27.96 tot 1.34.39
    • certifi van 2022.12.7 tot 2023.7.22
    • cryptografie van 39.0.1 tot 41.0.3
    • databricks-sdk van 0.1.6 tot 0.20.0
    • distlib van 0.3.7 tot 0.3.8
    • googleapis-common-protos van 1.62.0 tot 1.63.0
    • grpcio van 1.48.2 tot 1.60.0
    • grpcio-status van 1.48.1 tot 1.60.0
    • importlib-metadata van 4.6.4 tot 6.0.0
    • ipykernel van 6.25.0 tot 6.25.1
    • ipython van 8.14.0 tot 8.15.0
    • ipywidgets van 7.7.2 tot 8.0.4
    • jupyter_core van 5.2.0 tot 5.3.0
    • jupyterlab-widgets van 1.0.0 tot 3.0.5
    • matplotlib van 3.7.0 tot 3.7.2
    • pandas van 1.5.3 tot 2.0.3
    • pip van 22.3.1 tot 23.2.1
    • platformdirs van 2.5.2 tot 3.10.0
    • protobuf van 4.24.0 tot 4.24.1
    • pyarrow van 8.0.0 tot 14.0.1
    • Pygments van 2.11.2 tot 2.15.1
    • pyodbc van 4.0.32 tot 4.0.38
    • aanvragen van 2.28.1 tot 2.31.0
    • s3transfer van 0.6.2 tot 0.10.0
    • scikit-learn van 1.1.1 tot 1.3.0
    • scipy van 1.10.0 tot 1.11.1
    • setuptools van 65.6.3 tot 68.0.0
    • statsmodels van 0.13.5 tot 0.14.0
    • tenacity tussen 8.1.0 en 8.2.2
    • tornado van 6.1 tot 6.3.2
    • typing_extensions van 4.4.0 tot 4.7.1
    • urllib3 van 1.26.14 tot 1.26.16
    • virtualenv van 20.16.7 tot 20.24.2
    • widgetsnbextension van 3.6.1 tot 4.0.5
    • zipp van 1.0.0 tot 3.11.0
  • Bijgewerkte R-bibliotheken:
    • pijl van 12.0.1 tot 14.0.0.2
    • askpass van 1.1 tot 1.2.0
    • basis van 4.3.1 tot 4.3.2
    • brew van 1.0-8 tot 1.0-10
    • brio van 1.1.3 tot 1.1.4
    • bslib van 0.5.0 tot 0.6.1
    • cli van 3.6.1 tot 3.6.2
    • commonmark tussen 1.9.0 en 1.9.1
    • compiler van 4.3.1 tot 4.3.2
    • configuratie van 0.3.1 tot 0.3.2
    • cpp11 van 0.4.4 tot 0.4.7
    • referenties van 1.3.2 tot 2.0.1
    • curl van 5.0.1 tot 5.2.0
    • data.table van 1.14.8 tot 1.15.0
    • gegevenssets van 4.3.1 tot 4.3.2
    • DBI van 1.1.3 tot 1.2.1
    • dbplyr van 2.3.3 tot 2.4.0
    • desc van 1.4.2 tot 1.4.3
    • digest van 0.6.33 tot 0.6.34
    • dplyr van 1.1.2 tot 1.1.4
    • e1071 van 1,7-13 tot 1,7-14
    • evalueren van 0,21 tot 0,23
    • fansi van 1.0.4 tot 1.0.6
    • fontawesome van 0.5.1 tot 0.5.2
    • fs van 1.6.2 tot 1.6.3
    • toekomst van 1.33.0 tot 1.33.1
    • future.apply from 1.11.0 to 1.11.1
    • slingeren van 1.5.1 tot 1.5.2
    • gert van 1.9.2 tot 2.0.1
    • ggplot2 van 3.4.2 tot 3.4.4
    • glmnet van 4.1-7 tot 4.1-8
    • lijm van 1.6.2 tot 1.7.0
    • afbeeldingen van 4.3.1 tot 4.3.2
    • grDevices van 4.3.1 tot 4.3.2
    • raster van 4.3.1 tot 4.3.2
    • gtable from 0.3.3 to 0.3.4
    • hardhat van 1.3.0 tot 1.3.1
    • haven van 2.5.3 tot 2.5.4
    • htmltools van 0.5.5 tot 0.5.7
    • htmlwidgets van 1.6.2 tot 1.6.4
    • httpuv van 1.6.11 tot 1.6.14
    • httr van 1.4.6 tot 1.4.7
    • httr2 van 0.2.3 tot 1.0.0
    • jsonlite van 1.8.7 tot 1.8.8
    • breisel van 1,43 tot 1,45
    • labelen van 0.4.2 tot 0.4.3
    • hoger van 1.3.1 tot 1.3.2
    • lava van 1.7.2.1 tot 1.7.3
    • levenscyclus van 1.0.3 tot 1.0.4
    • listenv van 0.9.0 tot 0.9.1
    • lubridate van 1.9.2 tot 1.9.3
    • markdown van 1.7 tot 1.12
    • methoden van 4.3.1 tot 4.3.2
    • openssl van 2.0.6 tot 2.1.1
    • parallel van 4.3.1 tot 4.3.2
    • pkgbuild van 1.4.2 tot 1.4.3
    • pkgload van 1.3.2.1 tot 1.3.4
    • plyr van 1.8.8 tot 1.8.9
    • prettyunits van 1.1.1 tot 1.2.0
    • pROC van 1.18.4 tot 1.18.5
    • processx van 3.8.2 tot 3.8.3
    • prodlim van 2023.03.31 tot 2023.08.28
    • voortgang van 1.2.2 tot en met 1.2.3
    • voortgang van 0.13.0 tot 0.14.0
    • beloften van 1.2.0.1 tot 1.2.1
    • ps van 1.7.5 tot 1.7.6
    • purrr van 1.0.1 tot 1.0.2
    • ragg van 1.2.5 tot 1.2.7
    • Rcpp van 1.0.11 tot 1.0.12
    • RcppEigen van 0.3.3.9.3 tot 0.3.3.9.4
    • leesbewerking van 2.1.4 tot 2.1.5
    • recepten van 1.0.6 tot 1.0.9
    • rematch van 1.0.1 tot 2.0.0
    • afstandsbedieningen van 2.4.2 tot 2.4.2.1
    • reprex van 2.0.2 tot 2.1.0
    • rlang van 1.1.1 tot 1.1.3
    • rmarkdown van 2.23 tot 2.25
    • RODBC van 1.3-20 tot 1.3-23
    • roxygen2 van 7.2.3 tot 7.3.1
    • rprojroot van 2.0.3 tot 2.0.4
    • Rserve van 1,8-11 tot 1,8-13
    • RSQLite van 2.3.1 tot 2.3.5
    • sass van 0.4.6 tot 0.4.8
    • schaalt van 1.2.1 naar 1.3.0
    • glanzend van 1.7.4.1 tot 1.8.0
    • sparklyr van 1.8.1 tot 1.8.4
    • splines van 4.3.1 tot 4.3.2
    • statistieken van 4.3.1 tot 4.3.2
    • stats4 van 4.3.1 tot 4.3.2
    • stringi van 1.7.12 tot 1.8.3
    • stringr van 1.5.0 tot 1.5.1
    • systemfonts van 1.0.4 tot 1.0.5
    • tcltk van 4.3.1 tot 4.3.2
    • testthat van 3.1.10 tot 3.2.1
    • tekstvorm van 0.3.6 tot 0.3.7
    • tidyr van 1.3.0 tot 1.3.1
    • timechange van 0.2.0 tot 0.3.0
    • timeDate van 4022.108 tot 4032.109
    • tinytex van 0,45 tot 0,49
    • hulpprogramma's van 4.3.1 tot 4.3.2
    • utf8 van 1.2.3 tot 1.2.4
    • hulpmiddelen van 4.3.1 tot 4.3.2
    • uuid van 1,1-0 tot 1,2-0
    • vctrs van 0.6.3 tot 0.6.5
    • vroom van 1.6.3 tot 1.6.5
    • waldo van 0.5.1 tot 0.5.2
    • metr van 2.5.0 tot 3.0.0
    • xfun van 0,39 tot 0,41
    • xml2 van 1.3.5 tot 1.3.6
    • yaml van 2.3.7 tot 2.3.8
    • zip van 2.3.0 tot 2.3.1
  • Bijgewerkte Java-bibliotheken:
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 van 2.15.1 tot 2.16.0
    • com.google.flatbuffers.flatbuffers-java van 1.12.0 tot 23.5.26
    • com.typesafe.config van 1.2.1 tot 1.4.3
    • org.apache.ant.ant van 1.9.16 tot 1.10.11
    • org.apache.ant.ant-jsch van 1.9.16 tot 1.10.11
    • org.apache.ant.ant-launcher van 1.9.16 tot 1.10.11
    • org.apache.arrow.arrow-format van 12.0.1 tot 15.0.0
    • org.apache.arrow.arrow-memory-core van 12.0.1 tot 15.0.0
    • org.apache.arrow.arrow-memory-netty van 12.0.1 tot 15.0.0
    • org.apache.arrow.arrow-vector van 12.0.1 tot 15.0.0
    • org.apache.avro.avro van 1.11.2 tot 1.11.3
    • org.apache.avro.avro-ipc van 1.11.2 tot 1.11.3
    • org.apache.avro.avro-mapred van 1.11.2 tot 1.11.3
    • org.apache.logging.log4j.log4j-1.2-api van 2.20.0 tot 2.22.1
    • org.apache.logging.log4j.log4j-api van 2.20.0 tot 2.22.1
    • org.apache.logging.log4j.log4j-core van 2.20.0 tot 2.22.1
    • org.apache.logging.log4j.log4j-slf4j2-impl van 2.20.0 tot 2.22.1
    • org.postgresql.postgresql van 42.6.0 tot 42.6.1

Apache Spark

Databricks Runtime 15.0 bevat Apache Spark 3.5.0. Deze release bevat alle Spark-oplossingen en -verbeteringen die zijn opgenomen in Databricks Runtime 14.3 LTS, evenals de volgende aanvullende bugfixes en verbeteringen in Spark:

  • [SPARK-45527] [DBRRM-805] [ES-1073714] [SC-151626][CORE] Gebruik breuk om de resourceberekening uit te voeren
  • [SPARK-47102] [DBRRM-803] [SC-158253] [SQL] De COLLATION_ENABLED configuratievlag toevoegen
  • [SPARK-46973] [SC-158140] [DBRRM-777] [SQL] V2-tabelzoekopdracht overslaan wanneer een tabel zich in de V1-tabelcache bevindt
  • [SPARK-46808] [SC-154113] [PYTHON] Foutklassen verfijnen in Python met automatische sorteerfunctie
  • [SPARK-47251] [SC-158291] [PYTHON] Ongeldige typen blokkeren uit het args argument voor sql de opdracht
  • [SPARK-47251] [SC-158121] [PYTHON] Ongeldige typen blokkeren uit het args argument voor sql de opdracht
  • [SPARK-47108] [SC-157204] [CORE] Ingesteld derby.connection.requireAuthentication op false expliciet in CURI's
  • [SPARK-45599] [SC-157537] [CORE] Object gelijkheid gebruiken in OpenHashSet
  • [SPARK-47099] [SC-157352] [SQL] Gebruiken ordinalNumber om de waarde van paramIndex de foutklasse uniform in te stellen UNEXPECTED_INPUT_TYPE
  • [SPARK-46558] [SC-151363] [VERBINDING MAKEN] Een helperfunctie extraheren om de dubbele code te elimineren die wordt opgehaald MessageParameters uit ErrorParams in GrpcExceptionConverter
  • [SPARK-43117] [SC-156177] [VERBINDING MAKEN] Ondersteuning voor herhaalde velden maken ProtoUtils.abbreviate
  • [SPARK-46342] [SC-150283] [SQL] Vervangen IllegalStateException door SparkException.internalError in sql
  • [SPARK-47123] [SC-157412] [CORE] JDBCRDD verwerkt fouten niet correct in getQueryOutputSchema
  • [SPARK-47189] [SC-157667] [SQL] Kolomfoutnamen en tekst aanpassen
  • [SPARK-45789] [SC-157101] [SQL] Ondersteuning voor DESCRIBE TABLE voor clusteringkolommen
  • [SPARK-43256] [SC-157699] [SQL] Foutklasse verwijderen _LEGACY_ERROR_TEMP_2021
  • [SPARK-47201] [SC-157782] [PYTHON] [VERBINDING MAKEN] sameSemantics controleert invoertypen
  • [SPARK-47183] [SC-157660] [PYTHON] De foutklasse voor oplossen sameSemantics
  • [SPARK-47179] [SC-157663] [SQL] Foutbericht van SparkThrowableSuite verbeteren voor betere foutopsporing
  • [SPARK-46965] [SC-155791] [CORE] Inchecken logTypeUtils.getLog
  • [SPARK-46832] [SC-156774] [SQL] Inleiding tot collate- en sorteringsexpressies
  • [SPARK-46946] [SC-155721] [SQL] Ondersteuning voor uitzending van meerdere filtersleutels in DynamicPruning
  • [SPARK-47079] [VARIANT-22] [SC-157598] [PYTHON] [SQL] [VERBINDING MAKEN] Varianttypegegevens toevoegen aan PySpark
  • [SPARK-47101] [SC-157360] [SQL] Toestaan dat komma's worden gebruikt in kolomnamen op het hoogste niveau en de geneste typedefinitie verwijderen in HiveExternalCatalog.verifyDataSchema
  • [SPARK-47173] [SC-157571] [SS] [UI] Een typfout corrigeren in de uitleg van de streaming-ui
  • [SPARK-47113] [SC-157348] [CORE] Revert S3A endpoint fixup logic of SPARK-35878
  • [SPARK-47130] [SC-157462] [CORE] ListStatus gebruiken om bloklocatiegegevens te omzeilen bij het opschonen van stuurprogrammalogboeken
  • [SPARK-43259] [SC-157368] [SQL] Een naam toewijzen aan de foutklasse _LEGACY_ERROR_TEMP_2024
  • [SPARK-47104] [SC-157355] [SQL] TakeOrderedAndProjectExec moet de onveilige projectie initialiseren
  • [SPARK-47137] [SC-157463] [PYTHON] [VERBINDING MAKEN] GetAll toevoegen aan spark.conf voor functiepariteit met Scala
  • [SPARK-46924] [SC-154905] [CORE] Knop Herstellen Load New in Master/HistoryServer logboekgebruikersinterface
  • [SPARK-47069] [SC-157370] [PYTHON] [VERBINDING MAKEN] Introduceren spark.profile.show/dump voor profilering op basis van SparkSession
  • [SPARK-46812] [SC-157075] [SQL] [PYTHON] MapInPandas /mapInArrow-ondersteuning voor ResourceProfile maken
  • [SPARK-46833] [SC-155866] [SQL] Sorteringen - Inleiding tot CollationFactory die vergelijkings- en hashregels biedt voor ondersteunde sorteringen
  • [SPARK-47057] [SC-157036] [PYTHON] MyPy-gegevenstest opnieuw gebruiken
  • [SPARK-46934] [SC-157084] [SQL] Roundtrip lezen/schrijven voor structtype met speciale tekens met HMS
  • [SPARK-46727] [SC-153472] [SQL] Poort classifyException() in JDBC-dialecten op foutklassen
  • [SPARK-46964] [SC-155740] [SQL] Wijzig de handtekening van de fout bij het uitvoeren van de query hllInvalidLgK om een geheel getal als vierde argument te gebruiken
  • [SPARK-46949] [SC-155719] [SQL] Ondersteuning voor CHAR/VARCHAR via ResolveDefaultColumns
  • [SPARK-46972] [SC-155888] [SQL] Asymmetrische vervanging voor char/varchar in V2SessionCatalog.createTable herstellen
  • [SPARK-47014] [SC-156778] [PYTHON] [VERBINDING MAKEN] Implementeer methoden dumpPerfProfiles en dumpMemoryProfiles van SparkSession
  • [SPARK-46689] [SC-156221] [SPARK-46690] [PYTHON] [VERBINDING MAKEN] Ondersteuning voor v2-profilering in groep/cogroup applyInPandas/applyInArrow
  • [SPARK-47040] [SC-156773] [VERBINDING MAKEN] Toestaan dat Spark Connect Server-script wacht
  • [SPARK-46688] [SC-156113] [SPARK-46691] [PYTHON] [VERBINDING MAKEN] V2-profilering ondersteunen in geaggregeerde Pandas UDF's
  • [SPARK-47004] [SC-156499] [VERBINDING MAKEN] Er zijn meer tests toegevoegd aan ClientStreamingQuerySuite om de scala-clienttestdekking te verhogen
  • [SPARK-46994] [SC-156169] [PYTHON] PythonWrite herstructureren om voor te bereiden op het ondersteunen van het streamen van python-gegevensbronnen
  • [SPARK-46979] [SC-156587] [SS] Voeg ondersteuning toe voor het afzonderlijk opgeven van sleutel- en waardecoderingsprogramma's en ook voor elke colfamilie in de RocksDB-statusarchiefprovider
  • [SPARK-46960] [SC-155940] [SS] Meerdere invoerstromen testen met de TransformWithState-operator
  • [SPARK-46966] [SC-156112] [Python] UDTF-API voor de methode Analyseren toevoegen om de subset van invoertabelkolommen aan te geven die moeten worden geselecteerd
  • [SPARK-46895] [SC-155950] [CORE] Timer vervangen door geplande uitvoerder met één thread
  • [SPARK-46967] [SC-155815] [CORE] [UI] Verbergen Thread Dump en Heap Histogram van Dead uitvoerders in Executors de gebruikersinterface
  • [SPARK-46512] [SC-155826] [CORE] Optimaliseer het lezen van willekeurige volgorde wanneer zowel sorteren als combineren worden gebruikt.
  • [SPARK-46958] [SC-155942] [SQL] Ontbrekende tijdzone toevoegen aan standaardwaarden voor coerce
  • [SPARK-46754] [SC-153830] [SQL] [AVRO] Oplossing van compressiecode in avro-tabeldefinitie en schrijfopties oplossen
  • [SPARK-46728] [SC-154207] [PYTHON] Controleer of de Installatie van Pandas correct is
  • [SPARK-43403] [SC-154216] [UI] Zorg ervoor dat de oude SparkUI in HistoryServer is losgekoppeld voordat u een nieuwe laadt
  • [SPARK-39910] [SC-156203] [SQL] Padkwalificatie delegeren naar bestandssysteem tijdens globbing van het DataSource-bestandspad
  • [SPARK-47000] [SC-156123] [SC-156123][CORE] Gebruik getTotalMemorySize...
  • [SPARK-46819] [SC-154560] [CORE] Foutcategorieën en statussen verplaatsen naar JSON
  • [SPARK-46997] [SC-156175] [CORE] Standaard inschakelen spark.worker.cleanup.enabled
  • [SPARK-46865] [SC-156168] [SS] Batch-ondersteuning toevoegen voor TransformWithState-operator
  • [SPARK-46987] [SC-156040] [VERBINDING MAKEN] ProtoUtils.abbreviate onnodige setField bewerking voorkomen
  • [SPARK-46970] [SC-155816] [CORE] Herschrijven OpenHashSet#hasher met pattern matching
  • [SPARK-46984] [SC-156024] [PYTHON] Pyspark.copy_func verwijderen
  • [SPARK-47000] [SC-156123] [CORE] Gebruiken getTotalMemorySize in WorkerArguments
  • [SPARK-46980] [SC-155914] [SQL] [SECUNDAIR] Vermijd het gebruik van interne API's in end-to-endtests van dataframes
  • [SPARK-46931] "[SC-155661][PS] Implementeren {Frame, Series}.to_hdf"
  • [SPARK-46618] [SC-153828] [SQL] Foutberichten voor DATA_SOURCE_NOT_FOUND-fout verbeteren
  • [SPARK-46849] [SC-154586] [SQL] Optimizer uitvoeren op standaardinstellingen voor CREATE TABLE-kolommen
  • [SPARK-46911] [SC-155724] [SS] DeleteIfExists-operator toevoegen aan StatefulProcessorHandleImpl
  • [SPARK-43273] [SQL] Ondersteuning voor lz4raw compressiecodec voor Parquet
  • [SPARK-47002] [SC-156223] [Python] Retourneert een beter foutbericht als het veld orderBy van de UDTF-methode 'analyze' per ongeluk een lijst met tekenreeksen retourneert
  • [SPARK-46890] [SC-155802] [SQL] Probleem met parseren van CSV oplossen met bestaande standaardwaarden en kolomsnoeien
  • [SPARK-46977] [SC-155892] [CORE] Een mislukte aanvraag voor het verkrijgen van een token van één NameNode mag volgende tokenaanvragen niet overslaan
  • [SPARK-46608] [SC-151806] [SQL] Compatibiliteit met eerdere versies herstellen van JdbcDialect.classifyException
  • [SPARK-46908] [SC-155702] [SQL] Ondersteuningsstercomponent in WHERE-component
  • [SPARK-46908] [SC-155702] [SQL] Ondersteuningsstercomponent in WHERE-component
  • [SPARK-46852] [SC-155665] [SS] Verwijder het gebruik van expliciete sleutelcoderingsprogramma en geef deze impliciet door aan de operator voor de transformWithState-operator
  • [SPARK-46864] [SC-155669] [SS] Onboarding randomy StateV2 on new Error Class Framework
  • [SPARK-45807] [SC-155706] [SQL] Weergave retourneren na het aanroepen van replaceView(..)
  • [SPARK-46899] [SC-154651] [CORE] API's verwijderen POST van MasterWebUI wanneer spark.ui.killEnabledfalse
  • [SPARK-46868] [SC-154539] [CORE] Ondersteuning voor de gebruikersinterface van Spark Worker-logboeken
  • [SPARK-46931] [SC-155661] [PS] Implementeren {Frame, Series}.to_hdf
  • [SPARK-46940] [SC-155667] [CORE] Ongebruikte updateSparkConfigFromProperties en isAbsoluteURI in o.a.s.u.Utils
  • [SPARK-46929] [SC-155659] [CORE] [VERBINDING MAKEN] [SS] ThreadUtils.shutdown gebruiken om threadpools te sluiten
  • [SPARK-46400] [SC-155658] [CORE] [SQL] Als er beschadigde bestanden in de lokale maven-opslagplaats zijn, slaat u deze cache over en probeert u het opnieuw
  • [SPARK-46932] [SC-155655] De invoer opschonen pyspark.pandas.test_*
  • [SPARK-46683] [SC-154120] Een subquerygenerator schrijven waarmee permutaties voor subquery's worden gegenereerd om de dekking van tests te vergroten
  • [SPARK-46914] [SC-154776] [UI] De naam van de app inkort in de overzichtstabel op de pagina Geschiedenis
  • [SPARK-46831] [SC-154699] [SQL] Sorteringen - StringType en PhysicalStringType uitbreiden met sortationId-veld
  • [SPARK-46816] [SC-154415] [SS] Basisondersteuning toevoegen voor nieuwe willekeurige operator voor statusbeheer, type single valueState, meerdere statusvariabelen en onderliggende ondersteuning voor kolomfamilies voor RocksDBStateStoreProvider met/zonder wijzigingslogboekcontrolepunten
  • [SPARK-46925] [SC-154890] [PYTHON] [VERBINDING MAKEN] Een waarschuwing toevoegen waarmee memory_profiler voor geheugenprofilering moet worden geïnstalleerd
  • [SPARK-46927] [SC-154904] [PYTHON] Werk assertDataFrameEqual goed zonder PyArrow
  • [SPARK-46021] [SC-148987] [CORE] Ondersteuning voor het annuleren van toekomstige taken die behoren tot een taakgroep
  • [SPARK-46747] [SC-154789] [SQL] Scan voorkomen in getTableExistsQuery voor JDBC Dialecten
  • [SPARK-46904] [SC-154704] [UI] Weergaveprobleem met overzicht van de gebruikersinterface van geschiedenis oplossen
  • [SPARK-46870] [SC-154541] [CORE] Ondersteuning voor de gebruikersinterface van Spark-hoofdlogboek
  • [SPARK-46893] [SC-154780] [UI] Inlinescripts verwijderen uit UI-beschrijvingen
  • [SPARK-46910] [SC-154760] [PYTHON] JDK-vereiste in PySpark-installatie elimineren
  • [SPARK-46907] [SC-154736] [CORE] Locatie van stuurprogrammalogboek weergeven in Spark History Server
  • [SPARK-46902] [SC-154661] [UI] Gebruikersinterface van Spark History Server herstellen voor het gebruik van niet-geëxporteerde setAppLimit
  • [SPARK-46687] [SC-154725] [PYTHON] [VERBINDING MAKEN] Basisondersteuning voor op SparkSession gebaseerde geheugen profiler
  • [SPARK-46623] [SC-153831] [CORE] [MLLIB] [SQL] SimpleDateFormat vervangen door DateTimeFormatter
  • [SPARK-46875] [SC-154627] [SQL] Wanneer de mode waarde null is, moet not er een NullPointException worden gegenereerd
  • [SPARK-46872] [SC-154543] [CORE] Herstellen log-view.js als niet-module
  • [SPARK-46883] [SC-154629] [CORE] Ondersteunings-API /json/clusterutilization
  • [SPARK-46886] [SC-154630] [CORE] Standaard inschakelen spark.ui.prometheus.enabled
  • [SPARK-46873] [SC-154638] [SS] Maak geen nieuwe StreamingQueryManager opnieuw voor dezelfde Spark-sessie
  • [SPARK-46829] [SC-154419] [CORE] createExecutorEnv verwijderen uit SparkEnv
  • [SPARK-46827] [SC-154280] [CORE] Maken RocksDBPersistenceEngine ter ondersteuning van een symbolische koppeling
  • [SPARK-46903] [SC-154662] [CORE] Ondersteuning voor de logboekgebruikersinterface van Spark History Server
  • [SPARK-46874] [SC-154646] [PYTHON] Afhankelijkheid verwijderen pyspark.pandas uit assertDataFrameEqual
  • [SPARK-46889] [SC-154639] [CORE] Instelling valideren spark.master.ui.decommission.allow.mode
  • [SPARK-46850] [SC-154443] [SQL] Converteren _LEGACY_ERROR_TEMP_2102 naar UNSUPPORTED_DATATYPE
  • [SPARK-46704] [SC-153323] [CORE] [UI] Oplossing MasterPage om tabel Duration op kolom correct te sorteren Running Drivers
  • [SPARK-46796] [SC-154279] [SS] Zorg ervoor dat de juiste externe bestanden (vermeld in metadata.zip) worden gebruikt bij het laden van de RocksDB-versie
  • [SPARK-46888] [SC-154636] [CORE] Oplossing Master voor het weigeren /workers/kill/ van aanvragen als uit bedrijf genomen is uitgeschakeld
  • [SPARK-46818] [SC-154422] [SQL] Foutberichten voor Bereik verbeteren met niet-vouwbare invoer
  • [SPARK-46898] [SC-154649] [VERBINDING MAKEN] De protobuf-functietransformatie in Planner vereenvoudigen
  • [SPARK-46828] [SC-154413] [SQL] Verwijder de ongeldige assertie van de externe modus voor Spark SQL Shell
  • [SPARK-46733] [SC-154274] [CORE] Vereenvoudig de BlockManager door de afsluitbewerking alleen afhankelijk van interruptthread.
  • [SPARK-46777] [SC-154016] [SS] De structuur van de katalysator herstructureren StreamingDataSourceV2Relation om meer on-premises te zijn met de batchversie
  • [SPARK-46515] [SC-151716] De functie MONTHNAME toevoegen
  • [SPARK-46823] [SC-154276] [VERBINDING MAKEN] [PYTHON] LocalDataToArrowConversion moet de null-waarde controleren
  • [SPARK-46787] [SC-154404] [VERBINDING MAKEN] bloomFilter de functie moet worden gegooid AnalysisException voor ongeldige invoer
  • [SPARK-46779] [SC-154045] [SQL] InMemoryRelation exemplaren van hetzelfde plan in de cache moeten semantisch equivalent zijn
  • [SPARK-45827] [SC-153973] Partitioneren op de kolom Variant is niet toe te staan
  • [SPARK-46797] [SC-154085] [CORE] Naam wijzigen spark.deploy.spreadOut in spark.deploy.spreadOutApps
  • [SPARK-46094] [SC-153421] Ondersteuning voor JVM-profilering van uitvoerders
  • [SPARK-46746] [SC-153557] [SQL] [AVRO] Codec-extensie koppelen aan avro-gegevensbestanden
  • [SPARK-46698] [SC-153288] [CORE] Vervang Timer door één thread geplande executor voor ConsoleProgressBar.
  • [SPARK-46629] [SC-153835] Oplossing voor STRUCT-type DDL dat null-functionaliteit en opmerking niet ophaalt
  • [SPARK-46750] [SC-153772] [VERBINDING MAKEN] [PYTHON] DataFrame-API's code opschonen
  • [SPARK-46769] [SC-153979] [SQL] Tijdstempelgerelateerde schemadeductie verfijnen
  • [SPARK-46765] [SC-153904] [PYTHON] [VERBINDING MAKEN] Geef shuffle het gegevenstype van seed
  • [SPARK-46579] [SC-151481] [SQL] JDBC-URL redact in fouten en logboeken
  • [SPARK-46686] [SC-153875] [PYTHON] [VERBINDING MAKEN] Basisondersteuning voor Python UDF-profiler op basis van SparkSession
  • [SPARK-46748] "[SC-153800][CORE] Scri verwijderen *sla***.sh ...
  • [SPARK-46707] [SC-153833] [SQL] Gooibaar veld toegevoegd aan expressies om predicaatpushdown te verbeteren
  • [SPARK-46519] [SC-151278] [SQL] Ongebruikte foutklassen uit error-classes.json bestand wissen
  • [SPARK-46677] [SC-153426] [SQL] [VERBINDING MAKEN] Oplossing oplossen dataframe["*"]
  • [SPARK-46317] [SC-150184] [PYTHON] [VERBINDING MAKEN] Match minor behavior matching in SparkSession with full test coverage
  • [SPARK-46748] [SC-153800] [CORE] Scripts verwijderen *sla***.sh
  • [SPARK-46663] [SC-153490] [PYTHON] Geheugen profiler uitschakelen voor pandas UDF's met iterators
  • [SPARK-46410] [SC-150776] [SQL] Foutklassen/subklassen toewijzen aan JdbcUtils.classifyException
  • [SPARK-46277] [SC-150126] [PYTHON] Opstart-URL's valideren met de configuratie die wordt ingesteld
  • [SPARK-46612] [SC-153536] [SQL] Matrixtypetekenreeks niet converteren die is opgehaald uit het jdbc-stuurprogramma
  • [SPARK-46254] [SC-149788] [PYTHON] Verouderde versiecontrole van Python 3.8/3.7 verwijderen
  • [SPARK-46490] [SC-151335] [SQL] Foutklassen in SparkThrowable subklassen vereisen
  • [SPARK-46383] [SC-153274] [SC-147443] [WARMFIX] Verminder het heap-gebruik van stuurprogramma's door de levensduur van TaskInfo.accumulables()
  • [SPARK-46541] [SC-153109] [SQL] [VERBINDING MAKEN] Corrigeer de ambigu kolomreferentie in self join
  • [SPARK-46381] [SC-150495] [SQL] Subklassen migreren van AnalysisException naar foutklassen
  • [SPARK-46351] [SC-150335] [SQL] Een foutklasse vereisen in AnalysisException
  • [SPARK-46220] [SC-149689] [SQL] Tekenssets beperken in decode()
  • [SPARK-46369] [SC-150340] [CORE] Koppeling verwijderen kill uit RELAUNCHING stuurprogramma's in MasterPage
  • [SPARK-46052] [SC-153284] [CORE] Functie TaskScheduler.killAllTaskAttempts verwijderen
  • [SPARK-46536] [SC-153164] [SQL] Ondersteuning voor GROUP BY calendar_interval_type
  • [SPARK-46675] [SC-153209] [SQL] Ongebruikte inferTimestampNTZ verwijderen in ParquetReadSupport
  • [SPARK-46717] [SC-153423] [CORE] Vereenvoudigen ReloadingX509TrustManager door de afsluitbewerking is alleen afhankelijk van interruptthread.
  • [SPARK-46722] [SC-153438] [VERBINDING MAKEN] Een test toevoegen met betrekking tot compatibiliteitscontrole voor achterwaartse versies voor StreamingQueryListener in Spark Connect (Scala/PySpark)
  • [SPARK-46187] [SC-149580] [SQL] Implementatie van codegen en niet-codegen uitlijnen StringDecode
  • [SPARK-46258] [SC-149799] [CORE] Toevoegen RocksDBPersistenceEngine
  • [SPARK-46216] [SC-149676] [CORE] Verbeteren FileSystemPersistenceEngine om compressies te ondersteunen
  • [SPARK-46189] [SC-149567] [PS] [SQL] Vergelijkingen en rekenkundige bewerkingen uitvoeren tussen dezelfde typen in verschillende statistische Pandas-functies om geïnterpreteerde modusfouten te voorkomen
  • [SPARK-46184] [SC-149563] [CORE] [SQL] [VERBINDING MAKEN] [MLLIB] De stackdiepte verminderen door Option.isDefined te vervangen door Option.isEmpty
  • [SPARK-46700] [SC-153329] [CORE] Tel de laatste lekkage voor de metrische gegevens voor het overlopen van bytes in willekeurige volgorde
  • [SPARK-45642] [SC-150286] [CORE] [SQL] Repareren FileSystem.isFile & FileSystem.isDirectory is deprecated
  • [SPARK-46640] [SC-153272] [SQL] RemoveRedundantAlias oplossen door subquerykenmerken uit te sluiten
  • [SPARK-46681] [SC-153287] [CORE] Herstructureren ExecutorFailureTracker#maxNumExecutorFailures om te voorkomen dat er wordt berekend defaultMaxNumExecutorFailures wanneer MAX_EXECUTOR_FAILURES deze is geconfigureerd
  • [SPARK-46695] [SC-153289] [SQL] [HIVE] Hive.execution.engine altijd instellen op mr
  • [SPARK-46325] [SC-150228] [VERBINDING MAKEN] Overbodige onderdrukkingsfuncties verwijderen bij het maken in WrappedCloseableIteratorResponseValidator#wrapIterator
  • [SPARK-46232] [SC-149699] [PYTHON] Migreer alle resterende ValueError naar het PySpark-foutframework.
  • [SPARK-46547] [SC-153174] [SS] Slik niet-fatale uitzondering in onderhoudstaak om impasses tussen onderhoudsthread en streamingaggregatieoperator te voorkomen
  • [SPARK-46169] [SC-149373] [PS] Wijs de juiste JIRA-nummers toe voor ontbrekende parameters uit DataFrame de API.
  • [SPARK-45857] [SC-148096] [SQL] De foutklassen in subklassen van AnalysisException

Ondersteuning voor Databricks ODBC-/JDBC-stuurprogramma's

Databricks ondersteunt ODBC-/JDBC-stuurprogramma's die in de afgelopen 2 jaar zijn uitgebracht. Download de onlangs uitgebrachte stuurprogramma's en upgrade (download ODBC, download JDBC).

Systeemomgeving

  • Besturingssysteem: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.11.0
  • R: 4.3.2
  • Delta Lake: 3.1.0

Geïnstalleerde Python-bibliotheken

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
zwart 23.3.0 oogklep 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffiffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
klikken 8.0.4 cloudpickle 2.2.1 comm 0.1.2
contourpy 1.0.5 cryptografie 41.0.3 wielrijder 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
foutopsporing 1.6.7 decorateur 5.1.1 distlib 0.3.8
invoerpunten 0,4 Uitvoeren 0.8.3 facets-overview 1.1.1
filelock 3.13.1 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.42 google-api-core 2.17.1 google-auth 2.28.2
google-cloud-core 2.4.1 google-cloud-storage 2.15.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipywidgets 8.0.4 isodate 0.6.1
jedi 0.18.1 Jeepney 0.7.1 jmespath 0.10.0
joblib 1.2.0 jupyter_client 7.4.9 jupyter_core 5.3.0
jupyterlab-widgets 3.0.5 sleutelhanger 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.1
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 verpakking 23.2
Pandas 2.0.3 parso 0.8.3 pathspec 0.10.3
Patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Kussen 9.4.0 pit 23.2.1 platformdirs 3.10.0
plotly 5.9.0 prompt-toolkit 3.0.36 protobuf 4.24.1
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 14.0.1 pyasn1 0.4.8
pyasn1-modules 0.2.8 pyccolo 0.0.52 pycparser 2.21
pydantic 1.10.6 Pygments 2.15.1 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.38 pyparsing 3.0.9
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 pytz 2022.7
PyYAML 6,0 pyzmq 23.2.0 requests 2.31.0
RSA 4.9 s3transfer 0.10.0 scikit-learn 1.3.0
scipy 1.11.1 seaborn 0.12.2 SecretStorage 3.3.1
setuptools 68.0.0 Zes 1.16.0 smmap 5.0.1
sqlparse 0.4.4 ssh-import-id 5,11 stack-data 0.2.0
statsmodels 0.14.0 vasthoudendheid 8.2.2 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tornado 6.3.2 traitlets 5.7.1
typing_extensions 4.7.1 tzdata 2022.1 ujson 5.4.0
upgrades zonder toezicht 0,1 urllib3 1.26.16 virtualenv 20.24.2
wadllib 1.3.6 wcwidth 0.2.5 wiel 0.38.4
widgetsnbextension 4.0.5 zipp 3.11.0

Geïnstalleerde R-bibliotheken

R-bibliotheken worden geïnstalleerd vanuit de Posit Pakketbeheer CRAN-momentopname op 2023-02-10.

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
pijl 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
backports 1.4.1 base 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 blob 1.2.4 opstarten 1.3-28
brouwsel 1.0-10 Brio 1.1.4 bezem 1.0.5
bslib 0.6.1 cachem 1.0.8 beller 3.7.3
caret 6.0-94 cellranger 1.1.0 Chron 2.3-61
class 7.3-22 cli 3.6.2 clipr 0.8.0
klok 0.7.0 cluster 2.1.4 codetools 0.2-19
colorspace 2.1-0 commonmark 1.9.1 compiler 4.3.2
configuratie 0.3.2 Strijd 1.2.0 cpp11 0.4.7
Crayon 1.5.2 aanmeldingsgegevens 2.0.1 curl 5.2.0
data.table 1.15.0 gegevenssets 4.3.2 DBI 1.2.1
dbplyr 2.4.0 Desc 1.4.3 devtools 2.4.5
diagram 1.6.5 diffobj 0.3.5 verteren 0.6.34
downlit 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 beletselteken 0.3.2 evaluate 0.23
fansi 1.0.6 farver 2.1.1 fastmap 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
buitenlands 0.8-85 smeden 0.2.0 Fs 1.6.3
toekomst 1.33.1 future.apply 1.11.1 gorgelen 1.5.2
Generics 0.1.3 Gert 2.0.1 ggplot2 3.4.4
Gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.2 lijm 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
afbeeldingen 4.3.2 grDevices 4.3.2 rooster 4.3.2
gridExtra 2.3 gsubfn 0,7 gt 0.10.1
gtable 0.3.4 hardhat 1.3.1 haven 2.5.4
highr 0.10 Hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 ids 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 Iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-21 breiwerk 1.45 Labeling 0.4.3
later 1.3.2 latwerk 0.21-8 lava 1.7.3
levenscyclus 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 Markdown 1.12 MASSA 7.3-60
Matrix 1.5-4.1 memoise 2.0.1 methoden 4.3.2
mgcv 1.8-42 Mime 0,12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modeller 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 parallel 4.3.2
parallel 1.36.0 pilaar 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 loven 1.0.0
prettyunits 1.2.0 Proc 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 Voortgang 1.2.3
progressr 0.14.0 Beloften 1.2.1 Proto 1.0.0
proxy 0.4-27 ps 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 reactable 0.4.4
reactR 0.5.0 leesbewerking 2.1.5 readxl 1.4.3
recepten 1.0.9 Rematch 2.0.0 opnieuw overeenkomen2 2.1.2
Afstandsbedieningen 2.4.2.1 reprex 2.1.0 hervorm2 1.4.4
rlang 1.1.3 rmarkdown 2,25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 Sass 0.4.8
weegschaal 1.3.0 selectr 0.4-2 sessioninfo 1.2.2
vorm 1.4.6 glanzend 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 ruimtelijk 7.3-15 Splines 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 Stats 4.3.2
stats4 4.3.2 stringi 1.8.3 stringr 1.5.1
overleving 3.5-5 swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
tekstvorm 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 timechange 0.3.0
timeDate 4032.109 tinytex 0,49 tools 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 usethis 2.2.2
utf8 1.2.4 utils 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
Vroom 1.6.5 Waldo 0.5.2 snor 0.4.1
withr 3.0.0 xfun 0,41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 ritssluiting 2.3.1

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)

Groeps-id Artefact-id Versie
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics stroom 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-gearceerd 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml klasgenoot 1.3.4
com.fasterxml.jackson.core jackson-annotaties 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.cafeïne cafeïne 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink Tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guave 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuratie 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.netje.netlib arpack 3.0.3
dev.netje.netlib Blas 3.0.3
dev.netje.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.25
io.delta delta-sharing-client_2.12 1.0.4
io.dropwizard.metrics metrische aantekening 4.2.19
io.dropwizard.metrics metrische gegevenskern 4.2.19
io.dropwizard.metrics metrische gegevensgrafiet 4.2.19
io.dropwizard.metrics metrische statuscontroles 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-sokken 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx verzamelaar 0.12.0
jakarta.annotatie jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activering 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pekelen 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-CSV 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr tekenreekstemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow pijlnotatie 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow pijlvector 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recepten 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy klimop 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-gearceerd 4.23
org.apache.yetus aantekeningen voor doelgroepen 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-vervolg 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance opnieuw verpakt 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator sluimerstand-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Aantekeningen 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap Shims 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatibel 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel katten-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1