Databricks Runtime 11.2 (niet ondersteund)

  • Artikel

De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 11.2, mogelijk gemaakt door Apache Spark 3.3.0. Databricks heeft deze afbeeldingen uitgebracht in september 2022.

Nieuwe functies en verbeteringen

Wijzigen in ALTER TABLE-machtigingen in toegangsbeheer voor tabellen (tabel-ACL's)

Gebruikers hebben nu alleen machtigingen nodig MODIFY om het schema of de eigenschappen van een tabel te wijzigen met ALTER TABLE. Eigendom is nog steeds vereist om machtigingen voor een tabel te verlenen, de eigenaar en locatie ervan te wijzigen of de naam ervan te wijzigen. Met deze wijziging wordt het machtigingsmodel voor tabel-ACL's consistent met Unity Catalog. Zie ALTER TABLE.

Dynamisch snoeien voor MERGE INTO

Wanneer u berekeningen met Photon gebruikt, MERGE INTO worden nu dynamische bestanden en partities verwijderd wanneer dit van toepassing is om de prestaties te verbeteren, bijvoorbeeld wanneer een kleine brontabel wordt samengevoegd in een grotere doeltabel.

Verbeterde conflictdetectie in Delta met dynamische bestandssnoeiing

Wanneer u controleert op mogelijke conflicten tijdens doorvoeringen, beschouwt conflictdetectie nu bestanden die zijn verwijderd door dynamische bestandssnoei, maar die niet zijn verwijderd door statische filters. Dit resulteert in een verminderd aantal mislukte transacties.

Nieuwe kaart voor Open Source Integrations in DSE/SQL-startpagina's

Maak kennis met de nieuwe kaart Open Source Integrations op de DSE-/SQL-startpagina's met opensource-integratieopties zoals Delta Live Tables en dbt Core.

Verbeteringen in CONVERTEREN NAAR DELTA-partitiedetectie

CONVERT TO DELTA hiermee wordt automatisch het partitieschema afgeleid voor Parquet-tabellen die zijn geregistreerd bij de Hive-metastore of Unity Catalog, waardoor de component niet meer hoeft te worden opgegeven PARTITIONED BY .

CONVERT TO DELTA maakt gebruik van partitiegegevens uit de metastore om bestanden voor een Parquet-tabel te detecteren in plaats van het hele basispad weer te geven, zodat verwijderde partities niet worden toegevoegd aan de Delta-tabel.

Zie Converteren naar Delta Lake.

Tabelschema's ondersteunen nu standaardwaarden voor kolommen

Tabelschema's bieden nu ondersteuning voor het instellen van standaardwaarden voor kolommen. INSERT, UPDATEen DELETE opdrachten voor deze kolommen kunnen verwijzen naar deze waarden met het DEFAULT trefwoord. Vervolgens wordt INSERT INTO t VALUES (1, DEFAULT) bijvoorbeeld CREATE TABLE t (id INT, data INT DEFAULT 42) USING PARQUET de rij (1, 42)toegevoegd. Dit gedrag wordt ondersteund voor CSV-, JSON-, Orc- en Parquet-gegevensbronnen.

Nieuwe georuimtelijke H3-functies

U kunt nu 28 nieuwe ingebouwde H3-expressies gebruiken voor georuimtelijke verwerking in clusters met foton die beschikbaar zijn in SQL, Scala en Python. Zie georuimtelijke H3-functies.

Nieuwe Databricks Runtime-afhankelijkheid

Databricks Runtime is nu afhankelijk van de H3 Java-bibliotheek versie 3.7.0.

Bring Your Own Key: Versleuteling van Git-referenties

U kunt Azure Key Vault gebruiken om een persoonlijk Git-toegangstoken (PAT) of andere Git-referenties te versleutelen.

Zie Databricks Git-mappen (opslagplaatsen) instellen.

SQL: Nieuwe statistische functie any_value

De nieuwe any_value statistische functie retourneert een willekeurige waarde voor expr een groep rijen. Zie de statistische functie any_value.

Databricks Utilities-bestandssysteemopdrachten die zijn toegestaan voor meer clustertypen

dbutils.fs opdrachten (met uitzondering van koppelopdrachten) zijn nu toegestaan voor clusters met gebruikersisolatie met Unity Catalog, evenals verouderde ACL-clusters in tabellen wanneer de gebruiker machtigingen heeft ANY FILE .

CREATE-bevoegdheden kunnen nu worden verleend in metastores voor Unity Catalog

CREATE CATALOG, CREATE EXTERNAL LOCATION, CREATE SHARE, CREATE RECIPIENT en CREATE PROVIDER-bevoegdheden kunnen nu worden verleend op Unity Catalog-metastores.

Geoptimaliseerde schrijfbewerkingen voor niet-gepartitioneerde tabellen in clusters met Foton

Beheerde tabellen van Unity Catalog behouden nu automatisch bestanden met een goed afgestemde grootte van niet-gepartitioneerde tabellen om de querysnelheid te verbeteren en de prestaties te optimaliseren.

Photon-ondersteuning voor meer gegevensbronnen

Photon ondersteunt nu meer gegevensbronnen, waaronder CSV en Avro, en is ook compatibel met gegevensframes in de cache. Voorheen betekende het scannen van deze gegevensbronnen dat de hele query niet kon worden gefotoniseerd, ongeacht de operators of expressies van de query. Query's die deze gegevensbronnen scannen, kunnen nu worden gefotoniseerd, waardoor aanzienlijke latentie en TCO-verbeteringen worden ontgrendeld.

Deze functie is standaard ingeschakeld door de spark.databricks.photon.photonRowToColumnar.enabled configuratie.

Beperkingen:

  • Schema's met geneste typen worden niet ondersteund (matrices, kaarten en structs) in deze release.
  • ORC-, RDD-, Kinesis-, Kafka- en EventHub-bronnen worden niet ondersteund in deze release.

SQL: ALTER SHARE ondersteunt nu START VERSION

De ALTER SHARE opdracht ondersteunt START VERSIONnu, waarmee providers gegevens kunnen delen vanaf een specifieke tabelversie. Zie ALTER SHARE.

Bibliotheekupgrades

  • Bijgewerkte Python-bibliotheken:
    • distlib van 0.3.4 tot 0.3.5
    • filelock van 3.7.1 tot 3.8.0
    • plotly from 5.8.2 to 5.9.0
    • protobuf van 4.21.2 tot 4.21.5
  • Bijgewerkte R-bibliotheken:
    • bezem van 0.8.0 tot 1.0.0
    • bslib van 0.3.1 tot 0.4.0
    • beller van 3.7.0 tot 3.7.1
    • caret van 6,0-92 tot 6,0-93
    • dbplyr van 2.2.0 tot 2.2.1
    • devtools van 2.4.3 tot 2.4.4
    • evalueren van 0,15 tot 0,16
    • ver van 2.1.0 tot 2.1.1
    • fontawesome van 0.2.2 tot 0.3.0
    • toekomst van 1.26.1 tot 1.27.0
    • generics van 0.1.2 tot 0.1.3
    • gert van 1.6.0 tot 1.7.0
    • globals van 0.15.1 tot 0.16.0
    • googlesheets4 van 1.0.0 tot 1.0.1
    • hardhat van 1.1.0 tot 1.2.0
    • htmltools van 0.5.2 tot 0.5.3
    • parallel van 1.32.0 tot 1.32.1
    • pijler van 1.7.0 tot 1.8.0
    • pkgload van 1.2.4 tot 1.3.0
    • processx van 3.6.1 tot 3.7.0
    • Rcpp van 1.0.8.3 tot 1.0.9
    • recepten van 0.2.0 tot 1.0.1
    • rlang van 1.0.2 tot 1.0.4
    • roxygen2 van 7.2.0 tot 7.2.1
    • RSQLite van 2.2.14 tot 2.2.15
    • sass van 0.4.1 tot 0.4.2
    • glanzend van 1.7.1 tot 1.7.2
    • stringi van 1.7.6 tot 1.7.8
    • tibble van 3.1.7 tot 3.1.8
    • tidyverse van 1.3.1 tot 1.3.2
    • timeDate van 3043.102 tot 4021.104
    • xfun van 0,31 tot 0,32
  • Bijgewerkte Java-bibliotheken:
    • org.apache.orc.orc-core van 1.7.4 tot 1.7.5
    • org.apache.orc.orc-mapreduce van 1.7.4 tot 1.7.5
    • org.apache.orc.orc-shims van 1.7.4 tot 1.7.5

Apache Spark

Databricks Runtime 11.2 bevat Apache Spark 3.3.0. Deze release bevat alle Spark-oplossingen en -verbeteringen die zijn opgenomen in Databricks Runtime 11.1 (niet ondersteund) en de volgende aanvullende foutoplossingen en verbeteringen in Spark:

  • [SPARK-40151] [WARMFIX] [SC-109002] [SC-108809] [SQL] Retourneer bredere ANSI-intervaltypen van de percentielfuncties
  • [SPARK-40054] [SQL] De syntaxis voor foutafhandeling van try_cast() herstellen
  • [SPARK-39489] [CORE] Prestaties van JsonProtocol-logboekregistratie verbeteren met behulp van Jackson in plaats van Json4s
  • [SPARK-39319] [CORE] [SQL] Querycontexten maken als onderdeel van SparkThrowable
  • [SPARK-40085] [SQL] Gebruik INTERNAL_ERROR foutklasse in plaats van IllegalStateException om fouten aan te geven
  • [SPARK-40001] [SQL] NULL-schrijfbewerkingen maken naar JSON DEFAULT-kolommen schrijven 'null' naar opslag
  • [SPARK-39635] [SQL] Metrische stuurprogrammagegevens ondersteunen in aangepaste metrische DS v2-API
  • [SPARK-39184] [SQL] Matrix met ondergetekende resultaten verwerken in datum- en tijdstempelreeksen
  • [SPARK-40019] [SQL] Opmerking herstructureren van ArrayType's containsNull en herstructureer de misverstandlogica in de expressie van collectionOperator over containsNull
  • [SPARK-39989] [SQL] Ondersteuning voor schatting van kolomstatistieken als deze uitvouwbare expressie is
  • [SPARK-39926] [SQL] Fout opgelost in kolom DEFAULT-ondersteuning voor niet-vectorized Parquet-scans
  • [SPARK-40052] [SQL] Directe bytebuffers verwerken in VectorizedDeltaBinaryPackedReader
  • [SPARK-40044] [SQL] Het doelintervaltype in cast-overloopfouten oplossen
  • [SPARK-39835] [SQL] Fix RemoveSorts remove global sort below the local sort
  • [SPARK-40002] [SQL] Schuif de limiet niet omlaag door het venster met behulp van de ntiële
  • [SPARK-39976] [SQL] ArrayIntersect moet null in linkerexpressie correct verwerken
  • [SPARK-39985] [SQL] Impliciete standaardkolomwaarden inschakelen in invoegingen vanuit DataFrames
  • [SPARK-39776] [SQL] JOIN-uitgebreide tekenreeks moet jointype toevoegen
  • [SPARK-38901] [SQL] DS V2 ondersteunt push-down misc-functies
  • [SPARK-40028] [SQL] [Opvolgen] Voorbeelden van tekenreeksfuncties verbeteren
  • [SPARK-39983] [CORE] [SQL] Niet-geserialiseerde broadcastrelaties niet in de cache opslaan op het stuurprogramma
  • [SPARK-39812] [SQL] Code vereenvoudigen die wordt samengesteld AggregateExpression met toAggregateExpression
  • [SPARK-40028] [SQL] Binaire voorbeelden voor tekenreeksexpressies toevoegen
  • [SPARK-39981] [SQL] Gooi de uitzondering QueryExecutionErrors.castingCauseOverflowErrorInTableInsert in Cast
  • [SPARK-40007] [PYTHON] [SQL] Modus toevoegen aan functies
  • [SPARK-40008] [SQL] Ondersteuning voor het casten van integralen naar ANSI-intervallen
  • [SPARK-40003] [PYTHON] [SQL] Mediaan toevoegen aan functies
  • [SPARK-39952] [SQL] SaveIntoDataSourceCommand moet resultaatrelatie opnieuw in de cache opslaan
  • [SPARK-39951] [SQL] Parquet V2-kolomcontrole bijwerken voor geneste velden
  • [SPARK-33236] [willekeurige volgorde] Backport naar DBR 11.x: Schakel pushgebaseerde shuffle-service in om de status op te slaan in NM-niveau DB voor opnieuw opstarten met behoud van werk
  • [SPARK-39836] [SQL] Vereenvoudig V2ExpressionBuilder door algemene methode te extraheren.
  • [SPARK-39873] [SQL] Verwijderen OptimizeLimitZero en samenvoegen in EliminateLimits
  • [SPARK-39961] [SQL] DS V2 push-down vertalen Cast als de cast veilig is
  • [SPARK-39872] [SQL] Wijzigen voor gebruik BytePackerForLong#unpack8Values met matrixinvoer-API in VectorizedDeltaBinaryPackedReader
  • [SPARK-39858] [SQL] Overbodig of AliasHelperPredicateHelper voor sommige regels verwijderen
  • [SPARK-39900] [SQL] Gedeeltelijke of ontkende voorwaarde in de predicaatpushdown van binaire indeling oplossen
  • [SPARK-39904] [SQL] De naam van inferDate wijzigen om de voorkeur te geven aanDate en de semantiek van de optie in de CSV-gegevensbron verduidelijken
  • [SPARK-39958] [SQL] Waarschuwingslogboek toevoegen wanneer het aangepaste metrische object niet kan worden geladen
  • [SPARK-39932] [SQL] WindowExec moet de laatste partitiebuffer wissen
  • [SPARK-37194] [SQL] Vermijd onnodige sortering in v1-schrijfbewerkingen als deze geen dynamische partitie is
  • [SPARK-39902] [SQL] Scandetails toevoegen aan spark-planscanknooppunt in SparkUI
  • [SPARK-39865] [SQL] Juiste foutberichten weergeven over de overloopfouten van tabel invoegen
  • [SPARK-39940] [SS] Catalogustabel vernieuwen voor streamingquery met DSv1-sink
  • [SPARK-39827] [SQL] De foutklasse ARITHMETIC_OVERFLOW gebruiken voor int-overloop in add_months()
  • [SPARK-39914] [SQL] DS V2-filter toevoegen aan V1-filterconversie
  • [SPARK-39857] [SQL] Handmatige DBR 11.x-backport; V2ExpressionBuilder gebruikt het verkeerde Gegevenstype LiteralValue voor Predicaat #43454
  • [SPARK-39840] [SQL] [PYTHON] Factor PythonArrowInput als een symmetrie naar PythonArrowOutput
  • [SPARK-39651] [SQL] Prune filtervoorwaarde als vergelijken met rand deterministisch is
  • [SPARK-39877] [PYTHON] Draaitabel toevoegen aan PySpark DataFrame-API
  • [SPARK-39909] [SQL] De controle van push-downgegevens voor JDBCV2Suite organiseren
  • [SPARK-39834] [SQL] [SS] Neem de oorsprongsstatistieken en -beperkingen voor LogicalRDD op als deze afkomstig is van DataFrame
  • [SPARK-39849] [SQL] Dataset.as(StructType) vult ontbrekende nieuwe kolommen met null-waarde
  • [SPARK-39860] [SQL] Meer expressies moeten predicaat uitbreiden
  • [SPARK-39823] [SQL] [PYTHON] Wijzig de naam van Dataset.as als Dataset.to en voeg DataFrame.to toe in PySpark
  • [SPARK-39918] [SQL] [SECUNDAIR] Vervang de tekst "un-comparable" door "incomparable" in het foutbericht
  • [SPARK-39857] [SQL] [3.3] V2ExpressionBuilder gebruikt het verkeerde Gegevenstype LiteralValue voor Predicaat
  • [SPARK-39862] [SQL] Handmatige backport voor PR 43654 gericht op DBR 11.x: Update SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS toestaan/weigeren ALTER TABLE ... VOEG KOLOMopdrachten afzonderlijk toe.
  • [SPARK-39844] [SQL] Handmatige backport voor PR 43652 gericht op DBR 11.x
  • [SPARK-39899] [SQL] Probleem opgelost bij het doorgeven van berichtparameters aan InvalidUDFClassException
  • [SPARK-39890] [SQL] TakeOrderedAndProjectExec overnemen AliasAwareOutputOrdering
  • [SPARK-39809] [PYTHON] Ondersteuning voor CharType in PySpark
  • [SPARK-38864] [SQL] Draaitabel/smelt toevoegen aan gegevensset
  • [SPARK-39864] [SQL] Lazily executionListenerBus registreren
  • [SPARK-39808] [SQL] Ondersteuning voor statistische functieMODUS
  • [SPARK-39875] [SQL] Methode wijzigen protected in laatste klasse in private of package-visible
  • [SPARK-39731] [SQL] Probleem opgelost in CSV- en JSON-gegevensbronnen bij het parseren van datums in de indeling 'yyyyMMdd' met gecorrigeerd tijdparserbeleid
  • [SPARK-39805] [SS] Trigger.Once verwijderen en Trigger.AvailableNow promoveren
  • [SPARK-39784] [SQL] Letterlijke waarden rechts van het gegevensbronfilter plaatsen na het vertalen van Catalyst Expression naar een gegevensbronfilter
  • [SPARK-39672] [SQL] [3.1] Oplossing voor het verwijderen van een project vóór het filter met gecorreleerde subquery
  • [SPARK-39552] [SQL] Samenvoegen v1 en v2 DESCRIBE TABLE
  • [SPARK-39810] [SQL] Catalog.tableExists moet geneste naamruimte verwerken
  • [SPARK-37287] [SQL] Dynamische partities en buckets ophalen uit FileFormatWriter
  • [SPARK-39469] [SQL] Datumtype afleiden voor csv-schemadeductie
  • [SPARK-39148] [SQL] Cumulatieve DS V2-push down kan werken met OFFSET of LIMIT
  • [SPARK-39818] [SQL] Fout opgelost in ARRAY, STRUCT, MAP-typen met STANDAARDwaarden met NULL-velden
  • [SPARK-39792] [SQL] DecimalDivideWithOverflowCheck toevoegen voor decimaal gemiddelde
  • [SPARK-39798] [SQL] Replcace toSeq.toArray met .toArray[Any] in constructor van GenericArrayData
  • [SPARK-39759] [SQL] ListIndexes implementeren in JDBC (H2 dialect)
  • [SPARK-39385] [SQL] Ondersteunt push-omlaag REGR_AVGX en REGR_AVGY
  • [SPARK-39787] [SQL] Foutklasse gebruiken in de parseringsfout van functie to_timestamp
  • [SPARK-39760] [PYTHON] Ondersteuning voor Varchar in PySpark
  • [SPARK-39557] [SQL] Handmatige backport naar DBR 11.x: Ondersteuningsmatrix, STRUCT, MAP-typen als STANDAARDwaarden
  • [SPARK-39758] [SQL] [3.3] NPE herstellen vanuit de regexp-functies op ongeldige patronen
  • [SPARK-39749] [SQL] ANSI SQL-modus: een gewone tekenreeksweergave gebruiken bij het casten van decimalen naar tekenreeks
  • [SPARK-39704] [SQL] CreateIndex & dropIndex & indexExists implementeren in JDBC (H2 dialect)
  • [SPARK-39803] [SQL] Gebruiken LevenshteinDistance in plaats van StringUtils.getLevenshteinDistance
  • [SPARK-39339] [SQL] Ondersteuning voor het type TimestampNTZ in JDBC-gegevensbron
  • [SPARK-39781] [SS] Ondersteuning toevoegen voor het bieden van max_open_files aan de provider van de rocksdb-statusopslag
  • [SPARK-39719] [R] Implementeer databaseExists/getDatabase in SparkR-ondersteuning voor 3L-naamruimte
  • [SPARK-39751] [SQL] Metrische waarde voor de aggregaties van hashsleuteltests wijzigen
  • [SPARK-39772] [SQL] naamruimte moet null zijn wanneer de database null is in de oude constructors
  • [SPARK-39625] [SPARK-38904] [SQL] Dataset.as(StructType) toevoegen
  • [SPARK-39384] [SQL] Ingebouwde statistische functies voor lineaire regressie compileren voor JDBC-dialect
  • [SPARK-39720] [R] TableExists/getTable implementeren in SparkR voor 3L-naamruimte
  • [SPARK-39744] [SQL] De REGEXP_INSTR functie toevoegen
  • [SPARK-39716] [R] CurrentDatabase/setCurrentDatabase/listCatalogs in SparkR ondersteunen 3L-naamruimte
  • [SPARK-39788] [SQL] Naam wijzigen catalogName in dialectName voor JdbcUtils
  • [SPARK-39647] [CORE] De uitvoerder registreren bij ESS voordat u de BlockManager registreert
  • [SPARK-39754] [CORE] [SQL] Ongebruikt import of onnodig verwijderen {}
  • [SPARK-39706] [SQL] Ontbrekende kolom instellen met defaultValue als constante in ParquetColumnVector
  • [SPARK-39699] [SQL] SamenvouwenProject slimmer maken over expressies voor het maken van verzamelingen
  • [SPARK-39737] [SQL] PERCENTILE_CONT en PERCENTILE_DISC moet ondersteuning bieden voor het aggregatiesfilter
  • [SPARK-39579] [SQL] [PYTHON] [R] ListFunctions/getFunction/functionExists compatibel maken met 3 laagnaamruimte
  • [SPARK-39627] [SQL] JDBC V2-pushdown moet de compile-API samenvoegen
  • [SPARK-39748] [SQL] [SS] Neem het logische origin-plan voor LogicalRDD op als het afkomstig is van DataFrame
  • [SPARK-39385] [SQL] Statistische functies voor lineaire regressie vertalen voor pushdown
  • [SPARK-39695] [SQL] De REGEXP_SUBSTR functie toevoegen
  • [SPARK-39667] [SQL] Een andere tijdelijke oplossing toevoegen wanneer er onvoldoende geheugen is om de tabel te bouwen en uit te zenden
  • [SPARK-39666] [ES-337834] [SQL] OnveiligProjection.create gebruiken om te respecteren spark.sql.codegen.factoryMode in ExpressionEncoder
  • [SPARK-39643] [SQL] Subquery-expressies in STANDAARDwaarden verbieden
  • [SPARK-38647] [SQL] Add SupportsReportOrdering mix in interface for Scan (DataSourceV2)
  • [SPARK-39497] [SQL] De analyse-uitzondering van ontbrekende kaartsleutelkolom verbeteren
  • [SPARK-39661] [SQL] Vermijd het maken van onnodige SLF4J Logger
  • [SPARK-39713] [SQL] ANSI-modus: suggesties toevoegen voor het gebruik van try_element_at voor INVALID_ARRAY_INDEX fout
  • [SPARK-38899] [SQL] DS V2 ondersteunt push-down datetime-functies
  • [SPARK-39638] [SQL] Wijzigen om partitiekolommen op te ConstantColumnVector slaan in OrcColumnarBatchReader
  • [SPARK-39653] [SQL] Opschonen ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int) van ColumnVectorUtils
  • [SPARK-39231] [SQL] Gebruik ConstantColumnVector in plaats van On/OffHeapColumnVector partitiekolommen op te slaan in VectorizedParquetRecordReader
  • [SPARK-39547] [SQL] V2SessionCatalog mag NoSuchDatabaseException niet genereren in loadNamspaceMetadata
  • [SPARK-39447] [SQL] Vermijd AssertionError in AdaptiveSparkPlanExec.doExecuteBroadcast
  • [SPARK-39492] [SQL] MISSING_COLUMN opnieuw bewerken
  • [SPARK-39679] [SQL] TakeOrderedAndProjectExec moet de onderliggende uitvoervolgorde respecteren
  • [SPARK-39606] [SQL] Onderliggende statistieken gebruiken om een schatting te maken van de orderoperator
  • [SPARK-39611] [PYTHON] [PS] Onjuiste aliassen in array_ufunc oplossen
  • [SPARK-39656] [SQL] [3.3] Onjuiste naamruimte in DescribeNamespaceExec herstellen
  • [SPARK-39675] [SQL] Switch 'spark.sql.codegen.factoryMode' configuratie van testdoel naar intern doel
  • [SPARK-39139] [SQL] DS V2 ondersteunt push down DS V2 UDF
  • [SPARK-39434] [SQL] Runtimefoutquerycontext opgeven wanneer de matrixindex buiten de grenzen valt
  • [SPARK-39479] [SQL] DS V2 ondersteunt push-down wiskundige functies (niet ANSI)
  • [SPARK-39618] [SQL] De REGEXP_COUNT functie toevoegen
  • [SPARK-39553] [CORE] Bij het gebruik van Scala 2.13 mag de registratie met meerdere threads ongedaan worden gemaakt, moet NPE niet worden gegooid
  • [SPARK-38755] [PYTHON] [3.3] Voeg een bestand toe om ontbrekende pandas-algemene functies te adresseren
  • [SPARK-39444] [SQL] OptimizeSubqueries toevoegen aan de lijst met niet-uitgeslotenrules
  • [SPARK-39316] [SQL] PromotePrecision en CheckOverflow samenvoegen in decimale binaire rekenkundige berekeningen
  • [SPARK-39505] [UI] Escape-logboekinhoud die wordt weergegeven in de gebruikersinterface
  • [SPARK-39448] [SQL] Toevoegen ReplaceCTERefWithRepartition aan nonExcludableRules lijst
  • [SPARK-37961] [SQL] MaxRows/maxRowsPerPartition overschrijven voor sommige logische operators
  • [SPARK-35223] Add IssueNavigationLink herstellen
  • [SPARK-39633] [SQL] Ondersteuningstijdstempel in seconden voor TimeTravel met behulp van Dataframe-opties
  • [SPARK-38796] [SQL] Documentatie bijwerken voor tekenreeksen met de functies {try_}to_number
  • [SPARK-39650] [SS] Een onjuist waardeschema corrigeren in streamingontdubbeling met compatibiliteit met eerdere versies
  • [SPARK-39636] [CORE] [UI] Meerdere fouten in JsonProtocol oplossen, die van invloed zijn op heap StorageLevels en Task/Executor ResourceRequests
  • [SPARK-39432] [SQL] ELEMENT_AT_BY_INDEX_ZERO retourneren uit element_at(*, 0)
  • [SPARK-39349] Een gecentraliseerde CheckError-methode toevoegen voor QA van het foutpad
  • [SPARK-39453] [SQL] DS V2 ondersteunt push-down misc niet-statistische functies (niet-ANSI)
  • [SPARK-38978] [SQL] DS V2 ondersteunt push-down OFFSET-operator
  • [SPARK-39567] [SQL] ANSI-intervallen in de percentielfuncties ondersteunen
  • [SPARK-39383] [SQL] Ondersteuning voor STANDAARDkolommen in ALTER TABLE ALTER COLUMNS naar V2-gegevensbronnen
  • [SPARK-39396] [SQL] Ldap-aanmeldingsondering 'foutcode 49 - ongeldige referenties' herstellen
  • [SPARK-39548] [SQL] CreateView Command with a window clause query hit a wrong window definition not found issue
  • [SPARK-39575] [AVRO] add ByteBuffer#rewind after ByteBuffer#get in Avr...
  • [SPARK-39543] De optie van DataFrameWriterV2 moet worden doorgegeven aan opslageigenschappen als u terugval naar v1
  • [SPARK-39564] [SS] De informatie van de catalogustabel beschikbaar maken voor het logische plan in streamingquery
  • [SPARK-39582] [SQL] Markering 'Sinds' opgelost voor array_agg
  • [SPARK-39388] [SQL] Opnieuw orcSchema gebruiken wanneer orc-predicaten omlaag worden gepusht
  • [SPARK-39511] [SQL] Verhoog de lokale limiet 1 voor rechterzijde van linker semi/anti-join als de joinvoorwaarde leeg is
  • [SPARK-38614] [SQL] Push de limiet niet omlaag door het venster dat gebruikmaakt van percent_rank
  • [SPARK-39551] [SQL] Ongeldige AQE-plancontrole toevoegen
  • [SPARK-39383] [SQL] Ondersteuning voor STANDAARDkolommen in ALTER TABLE ADD COLUMNS to V2 data sources
  • [SPARK-39538] [SQL] Vermijd het maken van onnodige SLF4J Logger
  • [SPARK-39383] [SQL] Handmatige backport naar DBR 11.x: standaardkolomondersteuning herstructureren om het doorgeven van de primaire analyzer over te slaan
  • [SPARK-39397] [SQL] Relax AliasAwareOutputExpression ter ondersteuning van alias met expressie
  • [SPARK-39496] [SQL] Null-struct afhandelen in Inline.eval
  • [SPARK-39545] [SQL] concat Onderdrukkingsmethode voor ExpressionSet in Scala 2.13 om de prestaties te verbeteren
  • [SPARK-39340] [SQL] DS v2-pushdown moet puntjes in de naam van kolommen op het hoogste niveau toestaan
  • [SPARK-39488] [SQL] Vereenvoudig de foutafhandeling van TempResolvedColumn
  • [SPARK-38846] [SQL] Expliciete gegevenstoewijzing toevoegen tussen Teradata Numeric Type en Spark DecimalType
  • [SPARK-39520] [SQL] -- Onderdrukkingsmethode voor ExpressionSet in Scala 2.13
  • [SPARK-39470] [SQL] Ondersteuning voor cast van ANSI-intervallen naar decimalen
  • [SPARK-39477] [SQL] Verwijder informatie over het aantal query's uit de gouden bestanden van SQLQueryTestSuite
  • [SPARK-39419] [SQL] MatrixSort herstellen om een uitzondering te genereren wanneer de comparator null retourneert
  • [SPARK-39061] [SQL] Nullable correct instellen voor Inline uitvoerkenmerken
  • [SPARK-39320] [SQL] Statistische functie ondersteunen MEDIAN
  • [SPARK-39261] [CORE] Nieuwelijnopmaak voor foutberichten verbeteren
  • [SPARK-39355] [SQL] Eén kolom gebruikt aan citeren om UnresolvedAttribute samen te stellen
  • [SPARK-39351] [SQL] SHOW CREATE TABLE should redact properties
  • [SPARK-37623] [SQL] AnSI-statistische functie ondersteunen: regr_intercept
  • [SPARK-39374] [SQL] Foutbericht voor door de gebruiker opgegeven kolomlijst verbeteren
  • [SPARK-39255] [SQL] [3.3] Foutberichten verbeteren
  • [SPARK-39321] [SQL] TryCast herstructureren om RuntimeReplaceable te gebruiken
  • [SPARK-39406] [PYTHON] NumPy-matrix accepteren in createDataFrame
  • [SPARK-39267] [SQL] Het onnodige symbool van dsl opschonen
  • [SPARK-39171] [SQL] De Cast-expressie samenvoegen
  • [SPARK-28330] [SQL] Ondersteuning voor ANSI SQL: component result offset in query expression
  • [SPARK-39203] [SQL] Tabellocatie herschrijven naar absolute URI op basis van database-URI
  • [SPARK-39313] [SQL] toCatalystOrdering moet mislukken als V2Expression niet kan worden vertaald
  • [SPARK-39301] [SQL] [PYTHON] Gebruik LocalRelation en respecteer de grootte van de Arrow-batch in createDataFrame met Arrow Optimization
  • [SPARK-39400] [SQL] spark-sql moet in alle gevallen hive-resource-dir verwijderen

Onderhoudsupdates

Zie onderhoudsupdates voor Databricks Runtime 11.2.

Systeemomgeving

  • Besturingssysteem: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.5
  • R: 4.1.3
  • Delta Lake: 2.1.0

Geïnstalleerde Python-bibliotheken

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
Antergos Linux 2015.10 (ISO-Rolling) argon2-cffi 20.1.0 async-generator 1,10
attrs 21.2.0 backcall 0.2.0 backports.entry-points-selectable 1.1.1
zwart 22.3.0 Bleekmiddel 4.0.0 boto3 1.21.18
botocore 1.24.18 certifi 2021.10.8 Cffi 1.14.6
Chardet 4.0.0 charset-normalizer 2.0.4 klikken 8.0.3
Cryptografie 3.4.8 cycler 0.10.0 Cython 0.29.24
dbus-python 1.2.16 foutopsporing 1.4.1 Decorator 5.1.0
defusedxml 0.7.1 distlib 0.3.5 distro-info 0.23opgegeven1
invoerpunten 0,3 facets-overview 1.0.0 filelock 3.8.0
idna 3.2 ipykernel 6.12.1 Ipython 7.32.0
ipython-genutils 0.2.0 ipywidgets 7.7.0 Jedi 0.18.0
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.0.1
jsonschema 3.2.0 jupyter-client 6.1.12 jupyter-core 4.8.1
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 kiwisolver 1.3.1
MarkupSafe 2.0.1 matplotlib 3.4.3 matplotlib-inline 0.1.2
mistune 0.8.4 mypy-extensions 0.4.3 nbclient 0.5.3
nbconvert 6.1.0 nbformat 5.1.3 nest-asyncio 1.5.1
notebook 6.4.5 Numpy 1.20.3 Verpakking 21,0
Pandas 1.3.4 pandocfilters 1.4.3 parso 0.8.2
pathspec 0.9.0 Patsy 0.5.2 Pexpect 4.8.0
pickleshare 0.7.5 Kussen 8.4.0 Pip 21.2.4
platformdirs 2.5.2 plotly 5.9.0 prometheus-client 0.11.0
prompt-toolkit 3.0.20 protobuf 4.21.5 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 pyarrow 7.0.0
pycparser 2,20 Pygments 2.10.0 Pygobject 3.36.0
pyodbc 4.0.31 Pyparsing 3.0.4 pyrsistent 0.18.0
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.2 pytz 2021.3
pyzmq 22.2.1 requests 2.26.0 requests-unixsocket 0.2.0
s3transfer 0.5.2 scikit-learn 0.24.2 Scipy 1.7.1
seaborn 0.11.2 Send2Trash 1.8.0 Setuptools 58.0.4
Zes 1.16.0 ssh-import-id 5.10 statsmodels 0.12.2
Vasthoudendheid 8.0.1 terminado 0.9.4 testpath 0.5.0
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
Tornado 6.1 traitlets 5.1.0 typen-extensies 3.10.0.2
upgrades zonder toezicht 0,1 urllib3 1.26.7 Virtualenv 20.8.0
wcwidth 0.2.5 webencodings 0.5.1 Wiel 0.37.0
widgetsnbextension 3.6.0

Geïnstalleerde R-bibliotheken

R-bibliotheken worden geïnstalleerd vanuit de Microsoft CRAN-momentopname op 2022-08-15.

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
Askpass 1.1 assertthat 0.2.1 Backports 1.4.1
base 4.1.3 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.3 opstarten 1.3-28
Brouwsel 1.0-7 Brio 1.1.3 Bezem 1.0.0
bslib 0.4.0 cachem 1.0.6 beller 3.7.1
caret 6.0-93 cellranger 1.1.0 Chron 2.3-57
class 7.3-20 cli 3.3.0 clipr 0.8.0
cluster 2.1.3 Codetools 0.2-18 Colorspace 2.0-3
commonmark 1.8.0 Compiler 4.1.3 configuratie 0.3.1
cpp11 0.4.2 Crayon 1.5.1 aanmeldingsgegevens 1.3.2
curl 4.3.2 data.table 1.14.2 gegevenssets 4.1.3
DBI 1.1.3 dbplyr 2.2.1 Desc 1.4.1
Devtools 2.4.4 diffobj 0.3.5 Digest 0.6.29
downlit 0.4.2 dplyr 1.0.9 dtplyr 1.2.1
e1071 1.7-11 ellipsis 0.3.2 evaluate 0,16
fansi 1.0.3 farver 2.1.1 fastmap 1.1.0
fontawesome 0.3.0 forcats 0.5.1 foreach 1.5.2
Buitenlandse 0.8-82 Forge 0.2.0 Fs 1.5.2
Toekomst 1.27.0 future.apply 1.9.0 Gorgelen 1.2.0
Generics 0.1.3 Gert 1.7.0 ggplot2 3.3.6
Gh 1.3.0 gitcreds 0.1.1 glmnet 4.1-4
Globals 0.16.0 Lijm 1.6.2 googledrive 2.0.0
googlesheets4 1.0.1 Gower 1.0.0 afbeeldingen 4.1.3
grDevices 4.1.3 Raster 4.1.3 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 hardhat 1.2.0
haven 2.5.0 highr 0,9 Hms 1.1.1
htmltools 0.5.3 htmlwidgets 1.5.4 httpuv 1.6.5
httr 1.4.3 ids 1.0.1 Ini 0.3.1
Ipred 0.9-13 isoband 0.2.5 Iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.0 Kernsmooth 2.23-20
breiwerk 1.39 Labeling 0.4.2 Later 1.3.0
Lattice 0.20-45 lava 1.6.10 levenscyclus 1.0.1
listenv 0.8.0 lubridate 1.8.0 magrittr 2.0.3
Markdown 1.1 MASS 7.3-56 Matrix 1.4-1
memoise 2.0.1 methoden 4.1.3 Mgcv 1.8-40
Mime 0,12 miniUI 0.1.1.1 ModelMetrics 1.2.2.2
modeller 0.1.8 munsell 0.5.0 Nlme 3.1-157
Nnet 7.3-17 numDeriv 2016.8-1.1 openssl 2.0.2
parallel 4.1.3 parallel 1.32.1 Pijler 1.8.0
pkgbuild 1.3.1 Pkgconfig 2.0.3 pkgdown 2.0.6
pkgload 1.3.0 plogr 0.2.0 plyr 1.8.7
Lof 1.0.0 prettyunits 1.1.1 Proc 1.18.0
processx 3.7.0 prodlim 2019.11.13 profvis 0.3.7
Voortgang 1.2.2 progressr 0.10.1 Beloften 1.2.0.1
Proto 1.0.0 Proxy 0.4-27 ps 1.7.1
Purrr 0.3.4 r2d3 0.2.6 R6 2.5.1
ragg 1.2.2 randomForest 4.7-1.1 rappdirs 0.3.3
rcmdcheck 1.4.0 Rcolorbrewer 1.1-3 Rcpp 1.0.9
RcppEigen 0.3.3.9.2 leesbewerking 2.1.2 readxl 1.4.0
recepten 1.0.1 Rematch 1.0.1 opnieuw overeenkomen2 2.1.2
Afstandsbedieningen 2.4.2 reprex 2.0.1 hervorm2 1.4.4
rlang 1.0.4 rmarkdown 2.14 RODBC 1.3-19
roxygen2 7.2.1 Rpart 4.1.16 rprojroot 2.0.3
Rserve 1.8-11 RSQLite 2.2.15 rstudioapi 0,13
rversions 2.1.1 rvest 1.0.2 Sass 0.4.2
Schalen 1.2.0 selectr 0.4-2 sessioninfo 1.2.2
Vorm 1.4.6 Glanzende 1.7.2 sourcetools 0.1.7
sparklyr 1.7.7 SparkR 3.3.0 Ruimtelijke 7.3-11
Splines 4.1.3 sqldf 0.4-11 SQUAREM 2021.1
Stats 4.1.3 stats4 4.1.3 stringi 1.7.8
stringr 1.4.0 Overleving 3.2-13 sys 3.4
systemfonts 1.0.4 Tcltk 4.1.3 testthat 3.1.4
tekstvorm 0.3.6 tibble 3.1.8 tidyr 1.2.0
tidyselect 1.1.2 tidyverse 1.3.2 Timedate 4021.104
tinytex 0.40 tools 4.1.3 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.2
utils 4.1.3 uuid 1.1-0 vctrs 0.4.1
viridisLite 0.4.0 Vroom 1.5.7 Waldo 0.4.0
whisker 0,4 withr 2.5.0 xfun 0.32
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
Yaml 2.3.5 Zip 2.2.0

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)

Groeps-id Artefact-id Versie
Antlr Antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics Stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-gearceerd 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Klasgenoot 1.3.4
com.fasterxml.jackson.core jackson-annotaties 2.13.3
com.fasterxml.jackson.core jackson-core 2.13.3
com.fasterxml.jackson.core jackson-databind 2.13.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.3
com.fasterxml.jackson.module jackson-module-paranamer 2.13.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.3
com.github.ben-manes.cafeïne Cafeïne 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib kern 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava Guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger profiler 1.1.1
com.jcraft Jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuratie 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.netje.netlib Arpack 2.2.1
dev.netje.netlib Blas 2.2.1
dev.netje.netlib Lapack 2.2.1
hadoop3 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.5.0
io.dropwizard.metrics metrische gegevenskern 4.1.1
io.dropwizard.metrics metrische gegevensgrafiet 4.1.1
io.dropwizard.metrics metrische statuscontroles 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Collector 0.12.0
jakarta.annotatie jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activering 1.1.1
javax.annotatie javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction Jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
Jline Jline 2.14.6
joda-time joda-time 2.10.13
mvn hadoop3 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine Augurk 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-CSV 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.14
net.snowflake spark-snowflake_2.12 2.10.0-spark_3.2
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr Stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow pijlnotatie 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow pijlvector 7.0.0
org.apache.avro Avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1,9
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recepten 2.13.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.2-databricks
org.apache.hadoop hadoop-client-runtime 3.3.2
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy Ivy 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.17.2
org.apache.logging.log4j log4j-api 2.17.2
org.apache.logging.log4j log4j-core 2.17.2
org.apache.logging.log4j log4j-slf4j-impl 2.17.2
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.5
org.apache.orc orc-mapreduce 1.7.5
org.apache.orc orc-shims 1.7.5
org.apache.parquet parquet-column 1.12.0-databricks-0004
org.apache.parquet parquet-common 1.12.0-databricks-0004
org.apache.parquet parquet-codering 1.12.0-databricks-0004
org.apache.parquet parquet-format-structuren 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-gearceerd 4.20
org.apache.yetus aantekeningen voor doelgroepen 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-vervolg 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance opnieuw verpakt 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator sluimerstand-validator 6.1.0.Final
org.javassist Javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Aantekeningen 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap Shims 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark Ongebruikte 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani Xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel katten-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
Oro Oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1