Databricks Runtime 11.1 (EoS)
Notitie
Ondersteuning voor deze Databricks Runtime-versie is beëindigd. Zie de geschiedenis van einde van ondersteuning voor de einddatum van de ondersteuning. Zie de releaseversies en compatibiliteit van Databricks Runtime voor alle ondersteunde Databricks Runtime-versies.
De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 11.1, mogelijk gemaakt door Apache Spark 3.3.0. Databricks heeft deze versie uitgebracht in juli 2022.
Nieuwe functies en verbeteringen
- Photon is GA
- Foton: Ondersteunde exemplaartypen
- Wijzigingen in de gegevensfeed kunnen nu automatisch tijdstempels buiten het bereik verwerken
- SQL-functies beschrijven en weergeven, tonen nu unity-catalogusnamen in hun uitvoer (openbare preview)
- Schemadeductie en evolutie voor Parquet-bestanden in AutoLoader (openbare preview)
- Auto Loader ondersteunt nu de ontwikkeling van schema's voor Avro (GA)
- Delta Lake-ondersteuning voor dynamische partitieoverschrijven
- Ondersteuning voor informatieschema's voor objecten die zijn gemaakt in Unity Catalog
- Informatieve beperkingen voor Delta Lake-tabellen met Unity Catalog (openbare preview)
- Unity Catalog is algemeen beschikbaar
- Delta Delen is algemeen beschikbaar
Photon is GA
Photon is nu algemeen beschikbaar, te beginnen met Databricks Runtime 11.1. Photon is de systeemeigen vector-query-engine in Azure Databricks, geschreven om rechtstreeks compatibel te zijn met Apache Spark-API's, zodat deze werkt met uw bestaande code. Photon is ontwikkeld in C++ om te profiteren van moderne hardware en maakt gebruik van de nieuwste technieken in vectorische queryverwerking om te profiteren van parallelle uitvoering op gegevens- en instructieniveau in CPU's, waardoor de prestaties van echte gegevens en toepassingen worden verbeterd, allemaal systeemeigen op uw data lake.
Photon maakt deel uit van een krachtige runtime waarmee uw bestaande SQL- en DataFrame-API-aanroepen sneller worden uitgevoerd en uw totale kosten per workload worden verlaagd. Photon wordt standaard gebruikt in Databricks SQL-warehouses.
Nieuwe functies en verbeteringen zijn onder andere:
- Nieuwe vectorized sorteeroperator
- Nieuwe gevectoriseerde vensterfuncties
- Nieuwe instantietypen en -grootten in alle clouds
Beperkingen:
- Scala/Python UDF's worden niet ondersteund door Photon
- RDD wordt niet ondersteund door Photon
- Gestructureerd streamen wordt niet ondersteund door Photon
Zie de volgende Photon-aankondigingen voor meer informatie.
Foton: Nieuwe vectorized sorteeroperator
Photon ondersteunt nu een gevectoriseerde sortering voor wanneer een query een vensterfunctie bevat SORT_BY
CLUSTER_BY
met een ORDER BY
.
Beperkingen: Photon biedt geen ondersteuning voor een globale ORDER BY
component. Sorteert op vensterevaluatie fotoniseren, maar de globale sortering blijft actief in Spark.
Foton: Nieuwe gevectoriseerde vensterfuncties
Photon ondersteunt nu evaluatie van vectorvensterfuncties voor veel frametypen en functies. Nieuwe vensterfuncties zijn onder andere: , , , , , , en ntile
nth_value
. lead
percent_rank
lag
dense_rank
rank
row_number
Ondersteunde vensterframetypen: uitvoeren (UNBOUNDED PRECEDING AND CURRENT ROW
), niet-afhankelijk (UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING
), groeien (UNBOUNDED PRECEDING AND <OFFSET> FOLLOWING
) en verkleinen (<OFFSET> PRECEDING AND UNBOUNDED FOLLOWING
).
Beperkingen:
- Photon ondersteunt alleen
ROWS
versies van alle frametypen. - Photon biedt nog geen ondersteuning voor het type schuifframe (
<OFFSET> PRECEDING AND <OFFSET> FOLLOWING
).
Foton: Ondersteunde exemplaartypen
- dds_v5
- ds_v5
- eas_v4
- eds_v4
- eds_v5
- es_v5
- las_v3
- ls_v3
Wijzigingen in de gegevensfeed kunnen nu automatisch tijdstempels buiten het bereik verwerken
Change Data Feed (CDF) heeft nu een nieuwe modus waarmee u tijdstempels of versies kunt opgeven die zijn verstreken na de versie van een laatste doorvoer zonder fouten te genereren. Deze modus is standaard uitgeschakeld. U kunt deze inschakelen door de configuratie in spark.databricks.delta.changeDataFeed.timestampOutOfRange.enabled
te stellen op true
.
SQL-functies beschrijven en weergeven, tonen nu unity-catalogusnamen in hun uitvoer (openbare preview)
De opdrachten DESC TABLE
, DESC DATABASE
, , DESC SCHEMA
, DESC NAMESPACE
DESC FUNCTION
en EXPLAIN
SHOW CREATE TABLE
nu altijd de catalogusnaam weergeven in hun uitvoer.
Schemadeductie en evolutie voor Parquet-bestanden in AutoLoader (openbare preview)
Auto Loader ondersteunt nu schemadeductie en evolutie voor Parquet-bestanden. Net als JSON-, CSV- en Avro-indelingen kunt u nu de kolom met geredde gegevens gebruiken om onverwachte gegevens te redden die in uw Parquet-bestanden kunnen worden weergegeven. Dit omvat gegevens die niet kunnen worden geparseerd in het gegevenstype dat wordt verwacht, kolommen met een andere behuizing of extra kolommen die geen deel uitmaken van het verwachte schema. U kunt automatisch laden configureren om het schema automatisch te ontwikkelen wanneer er nieuwe kolommen in de binnenkomende gegevens worden toegevoegd. Zie Schemadeductie en evolutie configureren in Auto Loader.
Auto Loader ondersteunt nu de ontwikkeling van schema's voor Avro (GA)
Zie Schemadeductie en evolutie configureren in Auto Loader.
Delta Lake-ondersteuning voor dynamische partitieoverschrijven
Delta Lake maakt het nu mogelijk om de modus voor dynamische partitieoverschrijven alle bestaande gegevens in elke logische partitie te overschrijven waarvoor de schrijfbewerking nieuwe gegevens doorvoert. Zie Selectief gegevens overschrijven met Delta Lake.
Ondersteuning voor informatieschema's voor objecten die zijn gemaakt in Unity Catalog
Informatieschema biedt een op SQL gebaseerde, zelf beschrijvende API voor de metagegevens van verschillende databaseobjecten, waaronder tabellen en weergaven, beperkingen en routines.
In het informatieschema vindt u een set weergaven die de objecten beschrijven die bekend zijn in de catalogus van het schema dat u bevoegd bent.
Het informatieschema van de SYSTEM
catalogus retourneert informatie over objecten in alle catalogi in de metastore.
Zie informatieschema.
Informatieve beperkingen voor Delta Lake-tabellen met Unity Catalog (openbare preview)
U kunt nu beperkingen voor informatieve primaire sleutels en refererende sleutels definiëren voor Delta Lake-tabellen met Unity Catalog. Informatieve beperkingen worden niet afgedwongen. Zie CONSTRAINT-component.
Unity Catalog is algemeen beschikbaar
Unity Catalog is nu algemeen beschikbaar vanaf Databricks Runtime 11.1. Bekijk Wat is Unity Catalog?
Delta Delen is algemeen beschikbaar
Delta Sharing is nu algemeen beschikbaar vanaf Databricks Runtime 11.1.
Databricks naar Databricks Delta Sharing wordt volledig beheerd zonder dat tokens hoeven te worden uitgewisseld. U kunt providers, ontvangers en shares maken en beheren in de gebruikersinterface of met SQL- en REST-API's.
Sommige functies omvatten het beperken van de toegang van geadresseerden, het opvragen van gegevens met IP-toegangslijsten en regiobeperkingen en het delegeren van Delta Sharing-beheer aan niet-beheerders. U kunt ook query's uitvoeren op wijzigingen in gegevens of incrementele versies delen met Wijzigingengegevensfeeds. Zie Wat is Delta Sharing?
Gedragswijzigingen
Bewerking van gevoelige eigenschappen voor DESCRIBE TABLE en SHOW TABLE PROPERTIES
De DESCRIBE TABLE
en SHOW TABLE PROPERTIES
opdrachten schrijven nu gevoelige eigenschappen op.
Taakclusters zijn standaard ingesteld op de modus voor toegang van één gebruiker met Databricks Runtime 11.1 en hoger
Als u Unity Catalog wilt gebruiken, worden taakclusters die gebruikmaken van Databricks Runtime 11.1 en hoger die zijn gemaakt via de gebruikersinterface van taken of taken-API, standaard ingesteld op de modus voor toegang van één gebruiker. De toegangsmodus voor één gebruiker ondersteunt de meeste programmeertalen, clusterfuncties en functies voor gegevensbeheer. U kunt de modus voor gedeelde toegang nog steeds configureren via de gebruikersinterface of API, maar talen of functies zijn mogelijk beperkt.
Bibliotheekupgrades
- Bijgewerkte Python-bibliotheken:
- filelock van 3.6.0 tot 3.7.1
- plotly from 5.6.0 to 5.8.2
- protobuf van 3.20.1 tot 4.21.2
- Bijgewerkte R-bibliotheken:
- chron van 2.3-56 tot 2.3-57
- DBI van 1.1.2 tot 1.1.3
- dbplyr van 2.1.1 tot 2.2.0
- e1071 van 1,7-9 tot 1,7-11
- toekomst van 1.25.0 tot 1.26.1
- globals van 0.14.0 tot 0.15.1
- hardhat van 0.2.0 tot 1.1.0
- ipred van 0.9-12 tot 0,9-13
- openssl van 2.0.0 tot 2.0.2
- parallel van 1.31.1 tot 1.32.0
- processx van 3.5.3 tot 3.6.1
- voortgang van 0.10.0 tot 0.10.1
- proxy van 0.4-26 tot 0.4-27
- ps van 1.7.0 tot 1.7.1
- randomForest van 4.7-1 tot 4.7-1.1
- roxygen2 van 7.1.2 tot 7.2.0
- Rserve van 1,8-10 tot 1,8-11
- RSQLite van 2.2.13 tot 2.2.14
- sparklyr van 1.7.5 tot 1.7.7
- tinytex van 0,38 tot 0,40
- usethis from 2.1.5 to 2.1.6
- xfun van 0,30 tot 0,31
- Bijgewerkte Java-bibliotheken:
- io.delta.delta-sharing-spark_2.12 van 0.4.0 tot 0.5.0
Apache Spark
Databricks Runtime 11.2 bevat Apache Spark 3.3.0. Deze release bevat alle Spark-fixes en verbeteringen die zijn opgenomen in Databricks Runtime 11.1 (EoS) en de volgende aanvullende bugfixes en verbeteringen in Spark:
- [SPARK-40054] [SQL] De syntaxis voor foutafhandeling van try_cast() herstellen
- [SPARK-39489] [CORE] Prestaties van JsonProtocol-logboekregistratie verbeteren met behulp van Jackson in plaats van Json4s
- [SPARK-39319] [CORE] [SQL] Querycontexten maken als onderdeel van
SparkThrowable
- [SPARK-40085] [SQL] Gebruik INTERNAL_ERROR foutklasse in plaats van IllegalStateException om fouten aan te geven
- [SPARK-40001] [SQL] NULL-schrijfbewerkingen maken naar JSON DEFAULT-kolommen schrijven 'null' naar opslag
- [SPARK-39635] [SQL] Metrische stuurprogrammagegevens ondersteunen in aangepaste metrische DS v2-API
- [SPARK-39184] [SQL] Matrix met ondergetekende resultaten verwerken in datum- en tijdstempelreeksen
- [SPARK-40019] [SQL] Opmerking herstructureren van ArrayType's containsNull en herstructureer de misverstandlogica in de expressie van collectionOperator over
containsNull
- [SPARK-39989] [SQL] Ondersteuning voor schatting van kolomstatistieken als deze uitvouwbare expressie is
- [SPARK-39926] [SQL] Fout opgelost in kolom DEFAULT-ondersteuning voor niet-vectorized Parquet-scans
- [SPARK-40052] [SQL] Directe bytebuffers verwerken in VectorizedDeltaBinaryPackedReader
- [SPARK-40044] [SQL] Het doelintervaltype in cast-overloopfouten oplossen
- [SPARK-39835] [SQL] Fix RemoveSorts remove global sort below the local sort
- [SPARK-40002] [SQL] Schuif de limiet niet omlaag door het venster met behulp van de ntiële
- [SPARK-39976] [SQL] ArrayIntersect moet null in linkerexpressie correct verwerken
- [SPARK-39985] [SQL] Impliciete standaardkolomwaarden inschakelen in invoegingen vanuit DataFrames
- [SPARK-39776] [SQL] JOIN-uitgebreide tekenreeks moet jointype toevoegen
- [SPARK-38901] [SQL] DS V2 ondersteunt push-down misc-functies
- [SPARK-40028] [SQL] [Opvolgen] Voorbeelden van tekenreeksfuncties verbeteren
- [SPARK-39983] [CORE] [SQL] Niet-geserialiseerde broadcastrelaties niet in de cache opslaan op het stuurprogramma
- [SPARK-39812] [SQL] Code vereenvoudigen die wordt samengesteld
AggregateExpression
mettoAggregateExpression
- [SPARK-40028] [SQL] Binaire voorbeelden voor tekenreeksexpressies toevoegen
- [SPARK-39981] [SQL] Gooi de uitzondering QueryExecutionErrors.castingCauseOverflowErrorInTableInsert in Cast
- [SPARK-40007] [PYTHON] [SQL] Modus toevoegen aan functies
- [SPARK-40008] [SQL] Ondersteuning voor het casten van integralen naar ANSI-intervallen
- [SPARK-40003] [PYTHON] [SQL] Mediaan toevoegen aan functies
- [SPARK-39952] [SQL] SaveIntoDataSourceCommand moet resultaatrelatie opnieuw in de cache opslaan
- [SPARK-39951] [SQL] Parquet V2-kolomcontrole bijwerken voor geneste velden
- [SPARK-39775] [CORE] [AVRO] Standaardwaarden valideren uitschakelen bij het parseren van Avro-schema's
- [SPARK-33236] [willekeurige volgorde] Backport naar DBR 11.x: Schakel pushgebaseerde shuffle-service in om de status op te slaan in NM-niveau DB voor opnieuw opstarten met behoud van werk
- [SPARK-39836] [SQL] Vereenvoudig V2ExpressionBuilder door algemene methode te extraheren.
- [SPARK-39867] [SQL] Globale limiet mag OrderPreservingUnaryNode niet overnemen
- [SPARK-39873] [SQL] Verwijderen
OptimizeLimitZero
en samenvoegen inEliminateLimits
- [SPARK-39961] [SQL] DS V2 push-down vertalen Cast als de cast veilig is
- [SPARK-39872] [SQL] Wijzigen voor gebruik
BytePackerForLong#unpack8Values
met matrixinvoer-API inVectorizedDeltaBinaryPackedReader
- [SPARK-39858] [SQL] Overbodig of
AliasHelper
PredicateHelper
voor sommige regels verwijderen - [SPARK-39962] [WARMFIX] [ES-393486] [PYTHON] [SQL] Projectie toepassen wanneer groepskenmerken leeg zijn
- [SPARK-39900] [SQL] Gedeeltelijke of ontkende voorwaarde in de predicaatpushdown van binaire indeling oplossen
- [SPARK-39904] [SQL] De naam van inferDate wijzigen om de voorkeur te geven aanDate en de semantiek van de optie in de CSV-gegevensbron verduidelijken
- [SPARK-39958] [SQL] Waarschuwingslogboek toevoegen wanneer het aangepaste metrische object niet kan worden geladen
- [SPARK-39936] [SQL] Schema opslaan in eigenschappen voor Spark-weergaven
- [SPARK-39932] [SQL] WindowExec moet de laatste partitiebuffer wissen
- [SPARK-37194] [SQL] Vermijd onnodige sortering in v1-schrijfbewerkingen als deze geen dynamische partitie is
- [SPARK-39902] [SQL] Scandetails toevoegen aan spark-planscanknooppunt in SparkUI
- [SPARK-39865] [SQL] Juiste foutberichten weergeven over de overloopfouten van tabel invoegen
- [SPARK-39940] [SS] Catalogustabel vernieuwen voor streamingquery met DSv1-sink
- [SPARK-39827] [SQL] De foutklasse
ARITHMETIC_OVERFLOW
gebruiken voor int-overloop inadd_months()
- [SPARK-39914] [SQL] DS V2-filter toevoegen aan V1-filterconversie
- [SPARK-39857] [SQL] Handmatige DBR 11.x-backport; V2ExpressionBuilder gebruikt het verkeerde Gegevenstype LiteralValue voor Predicaat #43454
- [SPARK-39840] [SQL] [PYTHON] Factor PythonArrowInput als een symmetrie naar PythonArrowOutput
- [SPARK-39651] [SQL] Prune filtervoorwaarde als vergelijken met rand deterministisch is
- [SPARK-39877] [PYTHON] Draaitabel toevoegen aan PySpark DataFrame-API
- [SPARK-39847] [WARMFIX] [SS] Racevoorwaarde herstellen in RocksDBLoader.loadLibrary() als de aanroeperthread wordt onderbroken
- [SPARK-39909] [SQL] De controle van push-downgegevens voor JDBCV2Suite organiseren
- [SPARK-39834] [SQL] [SS] Neem de oorsprongsstatistieken en -beperkingen voor LogicalRDD op als deze afkomstig is van DataFrame
- [SPARK-39849] [SQL] Dataset.as(StructType) vult ontbrekende nieuwe kolommen met null-waarde
- [SPARK-39860] [SQL] Meer expressies moeten predicaat uitbreiden
- [SPARK-39823] [SQL] [PYTHON] Wijzig de naam van Dataset.as als Dataset.to en voeg DataFrame.to toe in PySpark
- [SPARK-39918] [SQL] [SECUNDAIR] Vervang de tekst "un-comparable" door "incomparable" in het foutbericht
- [SPARK-39857] [SQL] [3.3] V2ExpressionBuilder gebruikt het verkeerde Gegevenstype LiteralValue voor Predicaat
- [SPARK-39862] [SQL] Handmatige backport voor PR 43654 gericht op DBR 11.x: Update SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS toestaan/weigeren ALTER TABLE ... VOEG KOLOMopdrachten afzonderlijk toe.
- [SPARK-39844] [SQL] Handmatige backport voor PR 43652 gericht op DBR 11.x
- [SPARK-39899] [SQL] Probleem opgelost bij het doorgeven van berichtparameters aan
InvalidUDFClassException
- [SPARK-39890] [SQL] TakeOrderedAndProjectExec overnemen AliasAwareOutputOrdering
- [SPARK-39809] [PYTHON] Ondersteuning voor CharType in PySpark
- [SPARK-38864] [SQL] Draaitabel/smelt toevoegen aan gegevensset
- [SPARK-39864] [SQL] Lazily executionListenerBus registreren
- [SPARK-39808] [SQL] Ondersteuning voor statistische functieMODUS
- [SPARK-39839] [SQL] Speciale case van null-variabele lengte decimaal met niet-nul offsetAndSize in de structurele integriteitscontrole Van OnveiligRow verwerken
- [SPARK-39875] [SQL] Methode wijzigen
protected
in laatste klasse inprivate
ofpackage-visible
- [SPARK-39731] [SQL] Probleem opgelost in CSV- en JSON-gegevensbronnen bij het parseren van datums in de indeling 'yyyyMMdd' met gecorrigeerd tijdparserbeleid
- [SPARK-39805] [SS] Trigger.Once verwijderen en Trigger.AvailableNow promoveren
- [SPARK-39784] [SQL] Letterlijke waarden rechts van het gegevensbronfilter plaatsen na het vertalen van Catalyst Expression naar een gegevensbronfilter
- [SPARK-39672] [SQL] [3.1] Oplossing voor het verwijderen van een project vóór het filter met gecorreleerde subquery
- [SPARK-39552] [SQL] Samenvoegen v1 en v2
DESCRIBE TABLE
- [SPARK-39806] [SQL] Toegang tot
_metadata
gepartitioneerde tabellen kan een query vastlopen - [SPARK-39810] [SQL] Catalog.tableExists moet geneste naamruimte verwerken
- [SPARK-37287] [SQL] Dynamische partities en buckets ophalen uit FileFormatWriter
- [SPARK-39469] [SQL] Datumtype afleiden voor csv-schemadeductie
- [SPARK-39148] [SQL] Cumulatieve DS V2-push down kan werken met OFFSET of LIMIT
- [SPARK-39818] [SQL] Fout opgelost in ARRAY, STRUCT, MAP-typen met STANDAARDwaarden met NULL-velden
- [SPARK-39792] [SQL] DecimalDivideWithOverflowCheck toevoegen voor decimaal gemiddelde
- [SPARK-39798] [SQL] Replcace
toSeq.toArray
met.toArray[Any]
in constructor vanGenericArrayData
- [SPARK-39759] [SQL] ListIndexes implementeren in JDBC (H2 dialect)
- [SPARK-39385] [SQL] Ondersteunt push-omlaag
REGR_AVGX
enREGR_AVGY
- [SPARK-39787] [SQL] Foutklasse gebruiken in de parseringsfout van functie to_timestamp
- [SPARK-39760] [PYTHON] Ondersteuning voor Varchar in PySpark
- [SPARK-39557] [SQL] Handmatige backport naar DBR 11.x: Ondersteuningsmatrix, STRUCT, MAP-typen als STANDAARDwaarden
- [SPARK-39758] [SQL] [3.3] NPE herstellen vanuit de regexp-functies op ongeldige patronen
- [SPARK-39749] [SQL] ANSI SQL-modus: een gewone tekenreeksweergave gebruiken bij het casten van decimalen naar tekenreeks
- [SPARK-39704] [SQL] CreateIndex & dropIndex & indexExists implementeren in JDBC (H2 dialect)
- [SPARK-39803] [SQL] Gebruiken
LevenshteinDistance
in plaats vanStringUtils.getLevenshteinDistance
- [SPARK-39339] [SQL] Ondersteuning voor het type TimestampNTZ in JDBC-gegevensbron
- [SPARK-39781] [SS] Ondersteuning toevoegen voor het bieden van max_open_files aan de provider van de rocksdb-statusopslag
- [SPARK-39719] [R] Implementeer databaseExists/getDatabase in SparkR-ondersteuning voor 3L-naamruimte
- [SPARK-39751] [SQL] Metrische waarde voor de aggregaties van hashsleuteltests wijzigen
- [SPARK-39772] [SQL] naamruimte moet null zijn wanneer de database null is in de oude constructors
- [SPARK-39625] [SPARK-38904] [SQL] Dataset.as(StructType) toevoegen
- [SPARK-39384] [SQL] Ingebouwde statistische functies voor lineaire regressie compileren voor JDBC-dialect
- [SPARK-39720] [R] TableExists/getTable implementeren in SparkR voor 3L-naamruimte
- [SPARK-39744] [SQL] De
REGEXP_INSTR
functie toevoegen - [SPARK-39716] [R] CurrentDatabase/setCurrentDatabase/listCatalogs in SparkR ondersteunen 3L-naamruimte
- [SPARK-39788] [SQL] Naam wijzigen
catalogName
indialectName
voorJdbcUtils
- [SPARK-39647] [CORE] De uitvoerder registreren bij ESS voordat u de BlockManager registreert
- [SPARK-39754] [CORE] [SQL] Ongebruikt
import
of onnodig verwijderen{}
- [SPARK-39706] [SQL] Ontbrekende kolom instellen met defaultValue als constante in
ParquetColumnVector
- [SPARK-39699] [SQL] SamenvouwenProject slimmer maken over expressies voor het maken van verzamelingen
- [SPARK-39737] [SQL]
PERCENTILE_CONT
enPERCENTILE_DISC
moet ondersteuning bieden voor het aggregatiesfilter - [SPARK-39579] [SQL] [PYTHON] [R] ListFunctions/getFunction/functionExists compatibel maken met 3 laagnaamruimte
- [SPARK-39627] [SQL] JDBC V2-pushdown moet de compile-API samenvoegen
- [SPARK-39748] [SQL] [SS] Neem het logische origin-plan voor LogicalRDD op als het afkomstig is van DataFrame
- [SPARK-39385] [SQL] Statistische functies voor lineaire regressie vertalen voor pushdown
- [SPARK-39695] [SQL] De
REGEXP_SUBSTR
functie toevoegen - [SPARK-39667] [SQL] Een andere tijdelijke oplossing toevoegen wanneer er onvoldoende geheugen is om de tabel te bouwen en uit te zenden
- [SPARK-39666] [ES-337834] [SQL] OnveiligProjection.create gebruiken om te respecteren
spark.sql.codegen.factoryMode
in ExpressionEncoder - [SPARK-39643] [SQL] Subquery-expressies in STANDAARDwaarden verbieden
- [SPARK-38647] [SQL] Add SupportsReportOrdering mix in interface for Scan (DataSourceV2)
- [SPARK-39497] [SQL] De analyse-uitzondering van ontbrekende kaartsleutelkolom verbeteren
- [SPARK-39661] [SQL] Vermijd het maken van onnodige SLF4J Logger
- [SPARK-39713] [SQL] ANSI-modus: suggesties toevoegen voor het gebruik van try_element_at voor INVALID_ARRAY_INDEX fout
- [SPARK-38899] [SQL] DS V2 ondersteunt push-down datetime-functies
- [SPARK-39638] [SQL] Wijzigen om partitiekolommen op te
ConstantColumnVector
slaan inOrcColumnarBatchReader
- [SPARK-39653] [SQL] Opschonen
ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int)
vanColumnVectorUtils
- [SPARK-39231] [SQL] Gebruik
ConstantColumnVector
in plaats vanOn/OffHeapColumnVector
partitiekolommen op te slaan inVectorizedParquetRecordReader
- [SPARK-39547] [SQL] V2SessionCatalog mag NoSuchDatabaseException niet genereren in loadNamspaceMetadata
- [SPARK-39447] [SQL] Vermijd AssertionError in AdaptiveSparkPlanExec.doExecuteBroadcast
- [SPARK-39492] [SQL] MISSING_COLUMN opnieuw bewerken
- [SPARK-39679] [SQL] TakeOrderedAndProjectExec moet de onderliggende uitvoervolgorde respecteren
- [SPARK-39606] [SQL] Onderliggende statistieken gebruiken om een schatting te maken van de orderoperator
- [SPARK-39611] [PYTHON] [PS] Onjuiste aliassen in array_ufunc oplossen
- [SPARK-39656] [SQL] [3.3] Onjuiste naamruimte in DescribeNamespaceExec herstellen
- [SPARK-39675] [SQL] Switch 'spark.sql.codegen.factoryMode' configuratie van testdoel naar intern doel
- [SPARK-39139] [SQL] DS V2 ondersteunt push down DS V2 UDF
- [SPARK-39434] [SQL] Runtimefoutquerycontext opgeven wanneer de matrixindex buiten de grenzen valt
- [SPARK-39479] [SQL] DS V2 ondersteunt push-down wiskundige functies (niet ANSI)
- [SPARK-39618] [SQL] De
REGEXP_COUNT
functie toevoegen - [SPARK-39553] [CORE] Bij het gebruik van Scala 2.13 mag de registratie met meerdere threads ongedaan worden gemaakt, moet NPE niet worden gegooid
- [SPARK-38755] [PYTHON] [3.3] Voeg een bestand toe om ontbrekende pandas-algemene functies te adresseren
- [SPARK-39444] [SQL] OptimizeSubqueries toevoegen aan de lijst met niet-uitgeslotenrules
- [SPARK-39316] [SQL] PromotePrecision en CheckOverflow samenvoegen in decimale binaire rekenkundige berekeningen
- [SPARK-39505] [UI] Escape-logboekinhoud die wordt weergegeven in de gebruikersinterface
- [SPARK-39448] [SQL] Toevoegen
ReplaceCTERefWithRepartition
aannonExcludableRules
lijst - [SPARK-37961] [SQL] MaxRows/maxRowsPerPartition overschrijven voor sommige logische operators
- [SPARK-35223] Add IssueNavigationLink herstellen
- [SPARK-39633] [SQL] Ondersteuningstijdstempel in seconden voor TimeTravel met behulp van Dataframe-opties
- [SPARK-38796] [SQL] Documentatie bijwerken voor tekenreeksen met de functies {try_}to_number
- [SPARK-39650] [SS] Een onjuist waardeschema corrigeren in streamingontdubbeling met compatibiliteit met eerdere versies
- [SPARK-39636] [CORE] [UI] Meerdere fouten in JsonProtocol oplossen, die van invloed zijn op heap StorageLevels en Task/Executor ResourceRequests
- [SPARK-39432] [SQL] ELEMENT_AT_BY_INDEX_ZERO retourneren uit element_at(*, 0)
- [SPARK-39349] Een gecentraliseerde CheckError-methode toevoegen voor QA van het foutpad
- [SPARK-39453] [SQL] DS V2 ondersteunt push-down misc niet-statistische functies (niet-ANSI)
- [SPARK-38978] [SQL] DS V2 ondersteunt push-down OFFSET-operator
- [SPARK-39567] [SQL] ANSI-intervallen in de percentielfuncties ondersteunen
- [SPARK-39383] [SQL] Ondersteuning voor STANDAARDkolommen in ALTER TABLE ALTER COLUMNS naar V2-gegevensbronnen
- [SPARK-39396] [SQL] Ldap-aanmeldingsondering 'foutcode 49 - ongeldige referenties' herstellen
- [SPARK-39548] [SQL] CreateView Command with a window clause query hit a wrong window definition not found issue
- [SPARK-39575] [AVRO] add ByteBuffer#rewind after ByteBuffer#get in Avr...
- [SPARK-39543] De optie van DataFrameWriterV2 moet worden doorgegeven aan opslageigenschappen als u terugval naar v1
- [SPARK-39564] [SS] De informatie van de catalogustabel beschikbaar maken voor het logische plan in streamingquery
- [SPARK-39582] [SQL] Markering 'Sinds' opgelost voor
array_agg
- [SPARK-39388] [SQL] Opnieuw
orcSchema
gebruiken wanneer orc-predicaten omlaag worden gepusht - [SPARK-39511] [SQL] Verhoog de lokale limiet 1 voor rechterzijde van linker semi/anti-join als de joinvoorwaarde leeg is
- [SPARK-38614] [SQL] Push de limiet niet omlaag door het venster dat gebruikmaakt van percent_rank
- [SPARK-39551] [SQL] Ongeldige AQE-plancontrole toevoegen
- [SPARK-39383] [SQL] Ondersteuning voor STANDAARDkolommen in ALTER TABLE ADD COLUMNS to V2 data sources
- [SPARK-39538] [SQL] Vermijd het maken van onnodige SLF4J Logger
- [SPARK-39383] [SQL] Handmatige backport naar DBR 11.x: standaardkolomondersteuning herstructureren om het doorgeven van de primaire analyzer over te slaan
- [SPARK-39397] [SQL] Relax AliasAwareOutputExpression ter ondersteuning van alias met expressie
- [SPARK-39496] [SQL] Null-struct afhandelen in
Inline.eval
- [SPARK-39545] [SQL]
concat
Onderdrukkingsmethode voorExpressionSet
in Scala 2.13 om de prestaties te verbeteren - [SPARK-39340] [SQL] DS v2-pushdown moet puntjes in de naam van kolommen op het hoogste niveau toestaan
- [SPARK-39488] [SQL] Vereenvoudig de foutafhandeling van TempResolvedColumn
- [SPARK-38846] [SQL] Expliciete gegevenstoewijzing toevoegen tussen Teradata Numeric Type en Spark DecimalType
- [SPARK-39520] [SQL]
--
Onderdrukkingsmethode voorExpressionSet
in Scala 2.13 - [SPARK-39470] [SQL] Ondersteuning voor cast van ANSI-intervallen naar decimalen
- [SPARK-39477] [SQL] Verwijder informatie over het aantal query's uit de gouden bestanden van SQLQueryTestSuite
- [SPARK-39419] [SQL] MatrixSort herstellen om een uitzondering te genereren wanneer de comparator null retourneert
- [SPARK-39061] [SQL] Nullable correct instellen voor
Inline
uitvoerkenmerken - [SPARK-39320] [SQL] Statistische functie ondersteunen
MEDIAN
- [SPARK-39261] [CORE] Nieuwelijnopmaak voor foutberichten verbeteren
- [SPARK-39355] [SQL] Eén kolom gebruikt aan citeren om UnresolvedAttribute samen te stellen
- [SPARK-39351] [SQL] SHOW CREATE TABLE should redact properties
- [SPARK-37623] [SQL] AnSI-statistische functie ondersteunen: regr_intercept
- [SPARK-39374] [SQL] Foutbericht voor door de gebruiker opgegeven kolomlijst verbeteren
- [SPARK-39255] [SQL] [3.3] Foutberichten verbeteren
- [SPARK-39321] [SQL] TryCast herstructureren om RuntimeReplaceable te gebruiken
- [SPARK-39406] [PYTHON] NumPy-matrix accepteren in createDataFrame
- [SPARK-39267] [SQL] Het onnodige symbool van dsl opschonen
- [SPARK-39171] [SQL] De Cast-expressie samenvoegen
- [SPARK-28330] [SQL] Ondersteuning voor ANSI SQL: component result offset in query expression
- [SPARK-39203] [SQL] Tabellocatie herschrijven naar absolute URI op basis van database-URI
- [SPARK-39313] [SQL]
toCatalystOrdering
moet mislukken als V2Expression niet kan worden vertaald - [SPARK-39301] [SQL] [PYTHON] Gebruik LocalRelation en respecteer de grootte van de Arrow-batch in createDataFrame met Arrow Optimization
- [SPARK-39400] [SQL] spark-sql moet in alle gevallen hive-resource-dir verwijderen
Onderhoudsupdates
Zie onderhoudsupdates voor Databricks Runtime 11.1.
Systeemomgeving
- Besturingssysteem: Ubuntu 20.04.4 LTS
- Java: Zulu 8.56.0.21-CA-linux64
- Scala: 2.12.14
- Python: 3.9.5
- R: 4.1.3
- Delta Lake: 1.2.1
Geïnstalleerde Python-bibliotheken
Bibliotheek | Versie | Bibliotheek | Versie | Bibliotheek | Versie |
---|---|---|---|---|---|
Antergos Linux | 2015.10 (ISO-Rolling) | argon2-cffi | 20.1.0 | async-generator | 1,10 |
attrs | 21.2.0 | backcall | 0.2.0 | backports.entry-points-selectable | 1.1.1 |
zwart | 22.3.0 | bleken | 4.0.0 | boto3 | 1.21.18 |
botocore | 1.24.18 | certifi | 2021.10.8 | cffiffi | 1.14.6 |
chardet | 4.0.0 | charset-normalizer | 2.0.4 | klikken | 8.0.3 |
cryptografie | 3.4.8 | wielrijder | 0.10.0 | Cython | 0.29.24 |
dbus-python | 1.2.16 | foutopsporing | 1.4.1 | decorateur | 5.1.0 |
defusedxml | 0.7.1 | distlib | 0.3.5 | distro-info | 0.23opgegeven1 |
invoerpunten | 0,3 | facets-overview | 1.0.0 | filelock | 3.8.0 |
idna | 3.2 | ipykernel | 6.12.1 | ipython | 7.32.0 |
ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 | jedi | 0.18.0 |
Jinja2 | 2.11.3 | jmespath | 0.10.0 | joblib | 1.0.1 |
jsonschema | 3.2.0 | jupyter-client | 6.1.12 | jupyter-core | 4.8.1 |
jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | kiwisolver | 1.3.1 |
MarkupSafe | 2.0.1 | matplotlib | 3.4.3 | matplotlib-inline | 0.1.2 |
mistune | 0.8.4 | mypy-extensions | 0.4.3 | nbclient | 0.5.3 |
nbconvert | 6.1.0 | nbformat | 5.1.3 | nest-asyncio | 1.5.1 |
notebook | 6.4.5 | numpy | 1.20.3 | verpakking | 21,0 |
Pandas | 1.3.4 | pandocfilters | 1.4.3 | parso | 0.8.2 |
pathspec | 0.9.0 | Patsy | 0.5.2 | pexpect | 4.8.0 |
pickleshare | 0.7.5 | Kussen | 8.4.0 | pit | 21.2.4 |
platformdirs | 2.5.2 | plotly | 5.9.0 | prometheus-client | 0.11.0 |
prompt-toolkit | 3.0.20 | protobuf | 4.21.5 | psutil | 5.8.0 |
psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pyarrow | 7.0.0 |
pycparser | 2,20 | Pygments | 2.10.0 | PyGObject | 3.36.0 |
pyodbc | 4.0.31 | pyparsing | 3.0.4 | pyrsistent | 0.18.0 |
python-apt | 2.0.0+ubuntu0.20.4.7 | python-dateutil | 2.8.2 | pytz | 2021.3 |
pyzmq | 22.2.1 | requests | 2.26.0 | requests-unixsocket | 0.2.0 |
s3transfer | 0.5.2 | scikit-learn | 0.24.2 | scipy | 1.7.1 |
seaborn | 0.11.2 | Send2Trash | 1.8.0 | setuptools | 58.0.4 |
Zes | 1.16.0 | ssh-import-id | 5.10 | statsmodels | 0.12.2 |
vasthoudendheid | 8.0.1 | terminado | 0.9.4 | testpath | 0.5.0 |
threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tomli | 2.0.1 |
tornado | 6.1 | traitlets | 5.1.0 | typen-extensies | 3.10.0.2 |
upgrades zonder toezicht | 0,1 | urllib3 | 1.26.7 | virtualenv | 20.8.0 |
wcwidth | 0.2.5 | webencodings | 0.5.1 | wiel | 0.37.0 |
widgetsnbextension | 3.6.0 |
Geïnstalleerde R-bibliotheken
R-bibliotheken worden geïnstalleerd vanuit de Microsoft CRAN-momentopname op 2022-08-15.
Bibliotheek | Versie | Bibliotheek | Versie | Bibliotheek | Versie |
---|---|---|---|---|---|
askpass | 1.1 | assertthat | 0.2.1 | backports | 1.4.1 |
base | 4.1.3 | base64enc | 0.1-3 | bit | 4.0.4 |
bit64 | 4.0.5 | blob | 1.2.3 | opstarten | 1.3-28 |
brouwsel | 1.0-7 | Brio | 1.1.3 | bezem | 1.0.0 |
bslib | 0.4.0 | cachem | 1.0.6 | beller | 3.7.1 |
caret | 6.0-93 | cellranger | 1.1.0 | Chron | 2.3-57 |
class | 7.3-20 | cli | 3.3.0 | clipr | 0.8.0 |
cluster | 2.1.3 | codetools | 0.2-18 | colorspace | 2.0-3 |
commonmark | 1.8.0 | compiler | 4.1.3 | configuratie | 0.3.1 |
cpp11 | 0.4.2 | Crayon | 1.5.1 | aanmeldingsgegevens | 1.3.2 |
curl | 4.3.2 | data.table | 1.14.2 | gegevenssets | 4.1.3 |
DBI | 1.1.3 | dbplyr | 2.2.1 | Desc | 1.4.1 |
devtools | 2.4.4 | diffobj | 0.3.5 | verteren | 0.6.29 |
downlit | 0.4.2 | dplyr | 1.0.9 | dtplyr | 1.2.1 |
e1071 | 1.7-11 | beletselteken | 0.3.2 | evaluate | 0,16 |
fansi | 1.0.3 | farver | 2.1.1 | fastmap | 1.1.0 |
fontawesome | 0.3.0 | forcats | 0.5.1 | foreach | 1.5.2 |
buitenlands | 0.8-82 | smeden | 0.2.0 | Fs | 1.5.2 |
toekomst | 1.27.0 | future.apply | 1.9.0 | gorgelen | 1.2.0 |
Generics | 0.1.3 | Gert | 1.7.0 | ggplot2 | 3.3.6 |
Gh | 1.3.0 | gitcreds | 0.1.1 | glmnet | 4.1-4 |
globals | 0.16.0 | lijm | 1.6.2 | googledrive | 2.0.0 |
googlesheets4 | 1.0.1 | Gower | 1.0.0 | afbeeldingen | 4.1.3 |
grDevices | 4.1.3 | rooster | 4.1.3 | gridExtra | 2.3 |
gsubfn | 0,7 | gtable | 0.3.0 | hardhat | 1.2.0 |
haven | 2.5.0 | highr | 0,9 | Hms | 1.1.1 |
htmltools | 0.5.3 | htmlwidgets | 1.5.4 | httpuv | 1.6.5 |
httr | 1.4.3 | ids | 1.0.1 | ini | 0.3.1 |
ipred | 0.9-13 | isoband | 0.2.5 | Iterators | 1.0.14 |
jquerylib | 0.1.4 | jsonlite | 1.8.0 | KernSmooth | 2.23-20 |
breiwerk | 1.39 | Labeling | 0.4.2 | later | 1.3.0 |
latwerk | 0.20-45 | lava | 1.6.10 | levenscyclus | 1.0.1 |
listenv | 0.8.0 | lubridate | 1.8.0 | magrittr | 2.0.3 |
Markdown | 1.1 | MASSA | 7.3-56 | Matrix | 1.4-1 |
memoise | 2.0.1 | methoden | 4.1.3 | mgcv | 1.8-40 |
Mime | 0,12 | miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 |
modeller | 0.1.8 | munsell | 0.5.0 | nlme | 3.1-157 |
nnet | 7.3-17 | numDeriv | 2016.8-1.1 | openssl | 2.0.2 |
parallel | 4.1.3 | parallel | 1.32.1 | pilaar | 1.8.0 |
pkgbuild | 1.3.1 | pkgconfig | 2.0.3 | pkgdown | 2.0.6 |
pkgload | 1.3.0 | plogr | 0.2.0 | plyr | 1.8.7 |
loven | 1.0.0 | prettyunits | 1.1.1 | Proc | 1.18.0 |
processx | 3.7.0 | prodlim | 2019.11.13 | profvis | 0.3.7 |
Voortgang | 1.2.2 | progressr | 0.10.1 | Beloften | 1.2.0.1 |
Proto | 1.0.0 | proxy | 0.4-27 | ps | 1.7.1 |
purrr | 0.3.4 | r2d3 | 0.2.6 | R6 | 2.5.1 |
ragg | 1.2.2 | randomForest | 4.7-1.1 | rappdirs | 0.3.3 |
rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 | Rcpp | 1.0.9 |
RcppEigen | 0.3.3.9.2 | leesbewerking | 2.1.2 | readxl | 1.4.0 |
recepten | 1.0.1 | Rematch | 1.0.1 | opnieuw overeenkomen2 | 2.1.2 |
Afstandsbedieningen | 2.4.2 | reprex | 2.0.1 | hervorm2 | 1.4.4 |
rlang | 1.0.4 | rmarkdown | 2.14 | RODBC | 1.3-19 |
roxygen2 | 7.2.1 | rpart | 4.1.16 | rprojroot | 2.0.3 |
Rserve | 1.8-11 | RSQLite | 2.2.15 | rstudioapi | 0,13 |
rversions | 2.1.1 | rvest | 1.0.2 | Sass | 0.4.2 |
weegschaal | 1.2.0 | selectr | 0.4-2 | sessioninfo | 1.2.2 |
vorm | 1.4.6 | glanzend | 1.7.2 | sourcetools | 0.1.7 |
sparklyr | 1.7.7 | SparkR | 3.3.0 | ruimtelijk | 7.3-11 |
Splines | 4.1.3 | sqldf | 0.4-11 | SQUAREM | 2021.1 |
Stats | 4.1.3 | stats4 | 4.1.3 | stringi | 1.7.8 |
stringr | 1.4.0 | overleving | 3.2-13 | sys | 3.4 |
systemfonts | 1.0.4 | tcltk | 4.1.3 | testthat | 3.1.4 |
tekstvorm | 0.3.6 | tibble | 3.1.8 | tidyr | 1.2.0 |
tidyselect | 1.1.2 | tidyverse | 1.3.2 | timeDate | 4021.104 |
tinytex | 0.40 | tools | 4.1.3 | tzdb | 0.3.0 |
urlchecker | 1.0.1 | usethis | 2.1.6 | utf8 | 1.2.2 |
utils | 4.1.3 | uuid | 1.1-0 | vctrs | 0.4.1 |
viridisLite | 0.4.0 | Vroom | 1.5.7 | Waldo | 0.4.0 |
snor | 0,4 | withr | 2.5.0 | xfun | 0.32 |
xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
yaml | 2.3.5 | ritssluiting | 2.2.0 |
Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)
Groeps-id | Artefact-id | Versie |
---|---|---|
antlr | antlr | 2.7.7 |
com.amazonaws | amazon-kinesis-client | 1.12.0 |
com.amazonaws | aws-java-sdk-autoscaling | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudformation | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudfront | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudhsm | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudsearch | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudtrail | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudwatch | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.189 |
com.amazonaws | aws-java-sdk-codedeploy | 1.12.189 |
com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.189 |
com.amazonaws | aws-java-sdk-cognitosync | 1.12.189 |
com.amazonaws | aws-java-sdk-config | 1.12.189 |
com.amazonaws | aws-java-sdk-core | 1.12.189 |
com.amazonaws | aws-java-sdk-datapipeline | 1.12.189 |
com.amazonaws | aws-java-sdk-directconnect | 1.12.189 |
com.amazonaws | aws-java-sdk-directory | 1.12.189 |
com.amazonaws | aws-java-sdk-dynamodb | 1.12.189 |
com.amazonaws | aws-java-sdk-ec2 | 1.12.189 |
com.amazonaws | aws-java-sdk-ecs | 1.12.189 |
com.amazonaws | aws-java-sdk-efs | 1.12.189 |
com.amazonaws | aws-java-sdk-elasticache | 1.12.189 |
com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.189 |
com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.189 |
com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.189 |
com.amazonaws | aws-java-sdk-emr | 1.12.189 |
com.amazonaws | aws-java-sdk-glacier | 1.12.189 |
com.amazonaws | aws-java-sdk-glue | 1.12.189 |
com.amazonaws | aws-java-sdk-iam | 1.12.189 |
com.amazonaws | aws-java-sdk-importexport | 1.12.189 |
com.amazonaws | aws-java-sdk-kinesis | 1.12.189 |
com.amazonaws | aws-java-sdk-kms | 1.12.189 |
com.amazonaws | aws-java-sdk-lambda | 1.12.189 |
com.amazonaws | aws-java-sdk-logs | 1.12.189 |
com.amazonaws | aws-java-sdk-machinelearning | 1.12.189 |
com.amazonaws | aws-java-sdk-opsworks | 1.12.189 |
com.amazonaws | aws-java-sdk-rds | 1.12.189 |
com.amazonaws | aws-java-sdk-redshift | 1.12.189 |
com.amazonaws | aws-java-sdk-route53 | 1.12.189 |
com.amazonaws | aws-java-sdk-s3 | 1.12.189 |
com.amazonaws | aws-java-sdk-ses | 1.12.189 |
com.amazonaws | aws-java-sdk-simpledb | 1.12.189 |
com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.189 |
com.amazonaws | aws-java-sdk-sns | 1.12.189 |
com.amazonaws | aws-java-sdk-sqs | 1.12.189 |
com.amazonaws | aws-java-sdk-ssm | 1.12.189 |
com.amazonaws | aws-java-sdk-storagegateway | 1.12.189 |
com.amazonaws | aws-java-sdk-sts | 1.12.189 |
com.amazonaws | aws-java-sdk-support | 1.12.189 |
com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
com.amazonaws | aws-java-sdk-workspaces | 1.12.189 |
com.amazonaws | jmespath-java | 1.12.189 |
com.chuusai | shapeless_2.12 | 2.3.3 |
com.clearspring.analytics | stroom | 2.9.6 |
com.databricks | Rserve | 1.8-3 |
com.databricks | jets3t | 0.7.1-0 |
com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
com.esotericsoftware | kryo-gearceerd | 4.0.2 |
com.esotericsoftware | minlog | 1.3.0 |
com.fasterxml | klasgenoot | 1.3.4 |
com.fasterxml.jackson.core | jackson-annotaties | 2.13.3 |
com.fasterxml.jackson.core | jackson-core | 2.13.3 |
com.fasterxml.jackson.core | jackson-databind | 2.13.3 |
com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.13.3 |
com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.13.3 |
com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.13.3 |
com.fasterxml.jackson.module | jackson-module-paranamer | 2.13.3 |
com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.13.3 |
com.github.ben-manes.cafeïne | cafeïne | 2.3.4 |
com.github.fommil | jniloader | 1.1 |
com.github.fommil.netlib | kern | 1.1.2 |
com.github.fommil.netlib | native_ref-java | 1.1 |
com.github.fommil.netlib | native_ref-java-natives | 1.1 |
com.github.fommil.netlib | native_system-java | 1.1 |
com.github.fommil.netlib | native_system-java-natives | 1.1 |
com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
com.github.luben | zstd-jni | 1.5.2-1 |
com.github.wendykierp | JTransforms | 3.1 |
com.google.code.findbugs | jsr305 | 3.0.0 |
com.google.code.gson | gson | 2.8.6 |
com.google.crypto.tink | Tink | 1.6.1 |
com.google.flatbuffers | flatbuffers-java | 1.12.0 |
com.google.guava | guave | 15.0 |
com.google.protobuf | protobuf-java | 2.6.1 |
com.h2database | h2 | 2.0.204 |
com.helger | profiler | 1.1.1 |
com.jcraft | jsch | 0.1.50 |
com.jolbox | bonecp | 0.8.0.RELEASE |
com.lihaoyi | sourcecode_2.12 | 0.1.9 |
com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
com.ning | compress-lzf | 1.1 |
com.sun.mail | javax.mail | 1.5.2 |
com.tdunning | json | 1.8 |
com.thoughtworks.paranamer | paranamer | 2.8 |
com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
com.twitter | chill-java | 0.10.0 |
com.twitter | chill_2.12 | 0.10.0 |
com.twitter | util-app_2.12 | 7.1.0 |
com.twitter | util-core_2.12 | 7.1.0 |
com.twitter | util-function_2.12 | 7.1.0 |
com.twitter | util-jvm_2.12 | 7.1.0 |
com.twitter | util-lint_2.12 | 7.1.0 |
com.twitter | util-registry_2.12 | 7.1.0 |
com.twitter | util-stats_2.12 | 7.1.0 |
com.typesafe | configuratie | 1.2.1 |
com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
com.uber | h3 | 3.7.0 |
com.univocity | univocity-parsers | 2.9.1 |
com.zaxxer | HikariCP | 4.0.3 |
commons-cli | commons-cli | 1.5.0 |
commons-codec | commons-codec | 1.15 |
commons-collections | commons-collections | 3.2.2 |
commons-dbcp | commons-dbcp | 1.4 |
commons-fileupload | commons-fileupload | 1.3.3 |
commons-httpclient | commons-httpclient | 3.1 |
commons-io | commons-io | 2.11.0 |
commons-lang | commons-lang | 2.6 |
commons-logging | commons-logging | 1.1.3 |
commons-pool | commons-pool | 1.5.4 |
dev.netje.netlib | arpack | 2.2.1 |
dev.netje.netlib | Blas | 2.2.1 |
dev.netje.netlib | lapack | 2.2.1 |
hadoop3 | jets3t-0.7 | liball_deps_2.12 |
info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
io.airlift | aircompressor | 0.21 |
io.delta | delta-sharing-spark_2.12 | 0.5.0 |
io.dropwizard.metrics | metrische gegevenskern | 4.1.1 |
io.dropwizard.metrics | metrische gegevensgrafiet | 4.1.1 |
io.dropwizard.metrics | metrische statuscontroles | 4.1.1 |
io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
io.dropwizard.metrics | metrics-jmx | 4.1.1 |
io.dropwizard.metrics | metrics-json | 4.1.1 |
io.dropwizard.metrics | metrics-jvm | 4.1.1 |
io.dropwizard.metrics | metrics-servlets | 4.1.1 |
io.netty | netty-all | 4.1.74.Final |
io.netty | netty-buffer | 4.1.74.Final |
io.netty | netty-codec | 4.1.74.Final |
io.netty | netty-common | 4.1.74.Final |
io.netty | netty-handler | 4.1.74.Final |
io.netty | netty-resolver | 4.1.74.Final |
io.netty | netty-tcnative-classes | 2.0.48.Final |
io.netty | netty-transport | 4.1.74.Final |
io.netty | netty-transport-classes-epoll | 4.1.74.Final |
io.netty | netty-transport-classes-kqueue | 4.1.74.Final |
io.netty | netty-transport-native-epoll-linux-aarch_64 | 4.1.74.Final |
io.netty | netty-transport-native-epoll-linux-x86_64 | 4.1.74.Final |
io.netty | netty-transport-native-kqueue-osx-aarch_64 | 4.1.74.Final |
io.netty | netty-transport-native-kqueue-osx-x86_64 | 4.1.74.Final |
io.netty | netty-transport-native-unix-common | 4.1.74.Final |
io.prometheus | simpleclient | 0.7.0 |
io.prometheus | simpleclient_common | 0.7.0 |
io.prometheus | simpleclient_dropwizard | 0.7.0 |
io.prometheus | simpleclient_pushgateway | 0.7.0 |
io.prometheus | simpleclient_servlet | 0.7.0 |
io.prometheus.jmx | verzamelaar | 0.12.0 |
jakarta.annotatie | jakarta.annotation-api | 1.3.5 |
jakarta.servlet | jakarta.servlet-api | 4.0.3 |
jakarta.validation | jakarta.validation-api | 2.0.2 |
jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
javax.activation | activering | 1.1.1 |
javax.annotatie | javax.annotation-api | 1.3.2 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.transaction | jta | 1.1 |
javax.transaction | transaction-api | 1.1 |
javax.xml.bind | jaxb-api | 2.2.11 |
javolution | javolution | 5.5.1 |
jline | jline | 2.14.6 |
joda-time | joda-time | 2.10.13 |
mvn | hadoop3 | liball_deps_2.12 |
net.java.dev.jna | jna | 5.8.0 |
net.razorvine | pekelen | 1.2 |
net.sf.jpam | jpam | 1.1 |
net.sf.opencsv | opencsv | 2.3 |
net.sf.supercsv | super-CSV | 2.2.0 |
net.snowflake | snowflake-ingest-sdk | 0.9.6 |
net.snowflake | snowflake-jdbc | 3.13.14 |
net.snowflake | spark-snowflake_2.12 | 2.10.0-spark_3.2 |
net.sourceforge.f2j | arpack_combined_all | 0,1 |
org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
org.antlr | ST4 | 4.0.4 |
org.antlr | antlr-runtime | 3.5.2 |
org.antlr | antlr4-runtime | 4.8 |
org.antlr | tekenreekstemplate | 3.2.1 |
org.apache.ant | ant | 1.9.2 |
org.apache.ant | ant-jsch | 1.9.2 |
org.apache.ant | ant-launcher | 1.9.2 |
org.apache.arrow | pijlnotatie | 7.0.0 |
org.apache.arrow | arrow-memory-core | 7.0.0 |
org.apache.arrow | arrow-memory-netty | 7.0.0 |
org.apache.arrow | pijlvector | 7.0.0 |
org.apache.avro | avro | 1.11.0 |
org.apache.avro | avro-ipc | 1.11.0 |
org.apache.avro | avro-mapred | 1.11.0 |
org.apache.commons | commons-collections4 | 4.4 |
org.apache.commons | commons-compress | 1.21 |
org.apache.commons | commons-crypto | 1.1.0 |
org.apache.commons | commons-lang3 | 3.12.0 |
org.apache.commons | commons-math3 | 3.6.1 |
org.apache.commons | commons-text | 1,9 |
org.apache.curator | curator-client | 2.13.0 |
org.apache.curator | curator-framework | 2.13.0 |
org.apache.curator | curator-recepten | 2.13.0 |
org.apache.derby | Derby | 10.14.2.0 |
org.apache.hadoop | hadoop-client-api | 3.3.2-databricks |
org.apache.hadoop | hadoop-client-runtime | 3.3.2 |
org.apache.hive | hive-beeline | 2.3.9 |
org.apache.hive | hive-cli | 2.3.9 |
org.apache.hive | hive-jdbc | 2.3.9 |
org.apache.hive | hive-llap-client | 2.3.9 |
org.apache.hive | hive-llap-common | 2.3.9 |
org.apache.hive | hive-serde | 2.3.9 |
org.apache.hive | hive-shims | 2.3.9 |
org.apache.hive | hive-storage-api | 2.7.2 |
org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
org.apache.hive.shims | hive-shims-common | 2.3.9 |
org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
org.apache.httpcomponents | httpclient | 4.5.13 |
org.apache.httpcomponents | httpcore | 4.4.14 |
org.apache.ivy | klimop | 2.5.0 |
org.apache.logging.log4j | log4j-1.2-api | 2.17.2 |
org.apache.logging.log4j | log4j-api | 2.17.2 |
org.apache.logging.log4j | log4j-core | 2.17.2 |
org.apache.logging.log4j | log4j-slf4j-impl | 2.17.2 |
org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
org.apache.orc | orc-core | 1.7.5 |
org.apache.orc | orc-mapreduce | 1.7.5 |
org.apache.orc | orc-shims | 1.7.5 |
org.apache.parquet | parquet-column | 1.12.0-databricks-0004 |
org.apache.parquet | parquet-common | 1.12.0-databricks-0004 |
org.apache.parquet | parquet-codering | 1.12.0-databricks-0004 |
org.apache.parquet | parquet-format-structuren | 1.12.0-databricks-0004 |
org.apache.parquet | parquet-hadoop | 1.12.0-databricks-0004 |
org.apache.parquet | parquet-jackson | 1.12.0-databricks-0004 |
org.apache.thrift | libfb303 | 0.9.3 |
org.apache.thrift | libthrift | 0.12.0 |
org.apache.xbean | xbean-asm9-gearceerd | 4.20 |
org.apache.yetus | aantekeningen voor doelgroepen | 0.5.0 |
org.apache.zookeeper | zookeeper | 3.6.2 |
org.apache.zookeeper | zookeeper-jute | 3.6.2 |
org.checkerframework | checker-qual | 3.5.0 |
org.codehaus.jackson | jackson-core-asl | 1.9.13 |
org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
org.codehaus.janino | commons-compiler | 3.0.16 |
org.codehaus.janino | janino | 3.0.16 |
org.datanucleus | datanucleus-api-jdo | 4.2.4 |
org.datanucleus | datanucleus-core | 4.1.17 |
org.datanucleus | datanucleus-rdbms | 4.1.19 |
org.datanucleus | javax.jdo | 3.2.0-m3 |
org.eclipse.jetty | jetty-client | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-vervolg | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-http | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-io | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-jndi | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-plus | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-proxy | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-security | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-server | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-servlet | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-servlets | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-util | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-util-ajax | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-webapp | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-xml | 9.4.46.v20220331 |
org.eclipse.jetty.websocket | websocket-api | 9.4.46.v20220331 |
org.eclipse.jetty.websocket | websocket-client | 9.4.46.v20220331 |
org.eclipse.jetty.websocket | websocket-common | 9.4.46.v20220331 |
org.eclipse.jetty.websocket | websocket-server | 9.4.46.v20220331 |
org.eclipse.jetty.websocket | websocket-servlet | 9.4.46.v20220331 |
org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
org.glassfish.hk2 | hk2-api | 2.6.1 |
org.glassfish.hk2 | hk2-locator | 2.6.1 |
org.glassfish.hk2 | hk2-utils | 2.6.1 |
org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
org.glassfish.hk2.external | aopalliance opnieuw verpakt | 2.6.1 |
org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
org.glassfish.jersey.containers | jersey-container-servlet | 2.34 |
org.glassfish.jersey.containers | jersey-container-servlet-core | 2.34 |
org.glassfish.jersey.core | jersey-client | 2.34 |
org.glassfish.jersey.core | jersey-common | 2.34 |
org.glassfish.jersey.core | jersey-server | 2.34 |
org.glassfish.jersey.inject | jersey-hk2 | 2.34 |
org.hibernate.validator | sluimerstand-validator | 6.1.0.Final |
org.javassist | javassist | 3.25.0-GA |
org.jboss.logging | jboss-logging | 3.3.2.Final |
org.jdbi | jdbi | 2.63.1 |
org.jetbrains | Aantekeningen | 17.0.0 |
org.joda | joda-convert | 1,7 |
org.jodd | jodd-core | 3.5.2 |
org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
org.json4s | json4s-core_2.12 | 3.7.0-M11 |
org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
org.lz4 | lz4-java | 1.8.0 |
org.mariadb.jdbc | mariadb-java-client | 2.7.4 |
org.mlflow | mlflow-spark | 1.27.0 |
org.objenesis | objenesis | 2.5.1 |
org.postgresql | postgresql | 42.3.3 |
org.roaringbitmap | RoaringBitmap | 0.9.25 |
org.roaringbitmap | Shims | 0.9.25 |
org.rocksdb | rocksdbjni | 6.24.2 |
org.rosuda.REngine | REngine | 2.1.0 |
org.scala-lang | scala-compiler_2.12 | 2.12.14 |
org.scala-lang | scala-library_2.12 | 2.12.14 |
org.scala-lang | scala-reflect_2.12 | 2.12.14 |
org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
org.scala-sbt | test-interface | 1.0 |
org.scalacheck | scalacheck_2.12 | 1.14.2 |
org.scalactic | scalactic_2.12 | 3.0.8 |
org.scalanlp | breeze-macros_2.12 | 1.2 |
org.scalanlp | breeze_2.12 | 1.2 |
org.scalatest | scalatest_2.12 | 3.0.8 |
org.slf4j | jcl-over-slf4j | 1.7.36 |
org.slf4j | jul-to-slf4j | 1.7.36 |
org.slf4j | slf4j-api | 1.7.36 |
org.spark-project.spark | ongebruikt | 1.0.0 |
org.threeten | threeten-extra | 1.5.0 |
org.tukaani | xz | 1.8 |
org.typelevel | algebra_2.12 | 2.0.1 |
org.typelevel | katten-kernel_2.12 | 2.1.1 |
org.typelevel | macro-compat_2.12 | 1.1.1 |
org.typelevel | spire-macros_2.12 | 0.17.0 |
org.typelevel | spire-platform_2.12 | 0.17.0 |
org.typelevel | spire-util_2.12 | 0.17.0 |
org.typelevel | spire_2.12 | 0.17.0 |
org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
org.xerial | sqlite-jdbc | 3.8.11.2 |
org.xerial.snappy | snappy-java | 1.1.8.4 |
org.yaml | snakeyaml | 1,24 |
oro | oro | 2.0.8 |
pl.edu.icm | JLargeArrays | 1.5 |
software.amazon.ion | ion-java | 1.0.2 |
stax | stax-api | 1.0.1 |