Databricks Runtime 12.1 (niet ondersteund)
De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 12.1, mogelijk gemaakt door Apache Spark 3.3.1.
Databricks heeft deze afbeeldingen uitgebracht in januari 2023.
Nieuwe functies en verbeteringen
- Delta Lake-tabelfuncties die worden ondersteund voor protocolbeheer
- Voorspellende I/O voor updates bevindt zich in openbare preview
- Catalogusverkenner is nu beschikbaar voor alle persona's
- Ondersteuning voor meerdere stateful operators in één streamingquery
- Ondersteuning voor protocolbuffers bevindt zich in openbare preview
- Ondersteuning voor Confluent Schema Registry-verificatie
- Ondersteuning voor het delen van tabelgeschiedenis met Delta Sharing-shares
- Ondersteuning voor streaming met Delta Sharing-shares
- Tabelversie met behulp van tijdstempel die nu wordt ondersteund voor Delta Sharing-tabellen in catalogi
- Ondersteuning voor WANNEER NIET OVEREENKOMT MET BRON VOOR SAMENVOEGEN IN
- Geoptimaliseerde verzameling statistieken voor CONVERTEREN NAAR DELTA
- Ondersteuning voor Unity Catalog voor het inschonen van tabellen
Delta Lake-tabelfuncties die worden ondersteund voor protocolbeheer
Azure Databricks heeft ondersteuning geïntroduceerd voor Delta Lake-tabelfuncties, waarmee gedetailleerde vlaggen worden geïntroduceerd die aangeven welke functies worden ondersteund door een bepaalde tabel. Zie Hoe beheert Azure Databricks de compatibiliteit van Delta Lake-functies?
Voorspellende I/O voor updates bevindt zich in openbare preview
Voorspellende I/O versnelt nu , MERGEen UPDATE bewerkingen DELETEvoor Delta-tabellen met verwijderingsvectoren die zijn ingeschakeld voor Photon-rekenkracht. Zie Wat is voorspellende I/O?.
Catalogusverkenner is nu beschikbaar voor alle persona's
Catalog Explorer is nu beschikbaar voor alle Azure Databricks-persona's wanneer u Databricks Runtime 7.3 LTS en hoger gebruikt.
Ondersteuning voor meerdere stateful operators in één streamingquery
Gebruikers kunnen nu stateful operators koppelen met de toevoegmodus in de streamingquery. Niet alle operators worden volledig ondersteund. Tijdsinterval voor streamstreaming en flatMapGroupsWithState staat niet toe dat andere stateful operators worden gekoppeld.
Ondersteuning voor protocolbuffers bevindt zich in openbare preview
U kunt de from_protobuf en to_protobuf functies gebruiken om gegevens uit te wisselen tussen binaire en structtypen. Zie Buffers voor lees- en schrijfprotocollen.
Ondersteuning voor Confluent Schema Registry-verificatie
Azure Databricks-integratie met Confluent Schema Registry ondersteunt nu externe schemaregisteradressen met verificatie. Deze functie is beschikbaar voorfrom_avro, to_avroen from_protobufto_protobuf functies. Zie Protobuf of Avro.
Ondersteuning voor het delen van tabelgeschiedenis met Delta Sharing-shares
U kunt nu een tabel met volledige geschiedenis delen met Behulp van Delta Sharing, zodat ontvangers query's voor tijdreizen kunnen uitvoeren en query's kunnen uitvoeren op de tabel met behulp van Spark Structured Streaming. WITH HISTORY wordt aanbevolen in plaats van CHANGE DATA FEED, hoewel de laatste nog steeds wordt ondersteund. Zie ALTER SHARE en Tabellen toevoegen aan een share.
Ondersteuning voor streaming met Delta Sharing-shares
Spark Structured Streaming werkt nu met de indeling deltasharing in een delta-brontabel die is gedeeld met behulp van WITH HISTORY.
Tabelversie met behulp van tijdstempel die nu wordt ondersteund voor Delta Sharing-tabellen in catalogi
U kunt nu de SQL-syntaxis TIMESTAMP AS OF in SELECT instructies gebruiken om de versie op te geven van een Delta Sharing-tabel die in een catalogus is gekoppeld. Tabellen moeten worden gedeeld met behulp van WITH HISTORY.
Ondersteuning voor WANNEER NIET OVEREENKOMT MET BRON VOOR SAMENVOEGEN IN
U kunt nu componenten toevoegen WHEN NOT MATCHED BY SOURCE om rijen in de gekozen tabel bij te MERGE INTO werken of te verwijderen die geen overeenkomsten hebben in de brontabel op basis van de samenvoegvoorwaarde. De nieuwe component is beschikbaar in SQL, Python, Scala en Java. Zie SAMENVOEGEN IN.
Geoptimaliseerde verzameling statistieken voor CONVERTEREN NAAR DELTA
Het verzamelen van statistieken voor de CONVERT TO DELTA bewerking is nu veel sneller. Dit vermindert het aantal workloads dat kan worden gebruikt NO STATISTICS voor efficiëntie.
Ondersteuning voor Unity Catalog voor het inschonen van tabellen
Deze functie is in eerste instantie uitgebracht in de openbare preview. Het is ga vanaf 25 oktober 2023.
U kunt nu binnen zeven dagen na het verwijderen een verwijderde beheerde of externe tabel in een bestaand schema ongedaan maken. Zie TABLE UNDROP TABLE en SHOW TABLES DROPPED.
Bibliotheekupgrades
- Bijgewerkte Python-bibliotheken:
- filelock van 3.8.0 tot 3.8.2
- platformdirs van 2.5.4 tot 2.6.0
- setuptools van 58.0.4 tot 61.2.0
- Bijgewerkte R-bibliotheken:
- Bijgewerkte Java-bibliotheken:
- io.delta.delta-sharing-spark_2.12 van 0.5.2 tot 0.6.2
- org.apache.hive.hive-storage-api van 2.7.2 tot 2.8.1
- org.apache.parquet.parquet-column van 1.12.3-databricks-0001 tot 1.12.3-databricks-0002
- org.apache.parquet.parquet-common van 1.12.3-databricks-0001 tot 1.12.3-databricks-0002
- org.apache.parquet.parquet-codering van 1.12.3-databricks-0001 tot 1.12.3-databricks-0002
- org.apache.parquet.parquet-format-structures van 1.12.3-databricks-0001 tot 1.12.3-databricks-0002
- org.apache.parquet.parquet-hadoop van 1.12.3-databricks-0001 tot 1.12.3-databricks-0002
- org.apache.parquet.parquet-jackson van 1.12.3-databricks-0001 tot 1.12.3-databricks-0002
- org.tukaani.xz van 1.8 tot 1.9
Apache Spark
Databricks Runtime 12.1 bevat Apache Spark 3.3.1. Deze release bevat alle Spark-oplossingen en -verbeteringen die zijn opgenomen in Databricks Runtime 12.0 (niet ondersteund) en de volgende aanvullende bugfixes en verbeteringen in Spark:
- [SPARK-41405] [SC-119769] [12.1.0] Herstel "[SC-119411][SQL] Centraliseer de logica voor kolomresolutie" en "[SC-117170][SPARK-41338][SQL] Los externe verwijzingen en normale kolommen in dezelfde analysebatch op"
- [SPARK-41405] [SC-119411] [SQL] De logica voor kolomomzetting centraliseren
- [SPARK-41859] [SC-119514] [SQL] CreateHiveTableAsSelectCommand moet de vlag overschrijven correct instellen
- [SPARK-41659] [SC-119526] [VERBINDING MAKEN] [12.X] Doctests inschakelen in pyspark.sql.connect.readwriter
- [SPARK-41858] [SC-119427] [SQL] ORC-lezer perf-regressie herstellen vanwege de functie STANDAARDwaarde
- [SPARK-41807] [SC-119399] [CORE] Verwijder niet-bestaande foutklasse: UNSUPPORTED_FEATURE. DISTRIBUTE_BY
- [SPARK-41578] [12.x] [SC-119273] [SQL] Naam toewijzen aan _LEGACY_ERROR_TEMP_2141
- [SPARK-41571] [SC-119362] [SQL] Naam toewijzen aan _LEGACY_ERROR_TEMP_2310
- [SPARK-41810] [SC-119373] [VERBINDING MAKEN] Namen afleiden uit een lijst met woordenlijsten in SparkSession.createDataFrame
- [SPARK-40993] [SC-119504] [SPARK-41705] [VERBINDING MAKEN] [12.X] Spark Verbinding maken-documentatie en -script verplaatsen naar dev/en Python-documentatie
- [SPARK-41534] [SC-119456] [VERBINDING MAKEN] [SQL] [12.x] Initiële clientmodule voor Spark-Verbinding maken instellen
- [SPARK-41365] [SC-118498] [UI] [3.3] Fasen ui-pagina kan niet worden geladen voor proxy in een specifieke yarn-omgeving
- [SPARK-41481] [SC-118150] [CORE] [SQL] Opnieuw gebruiken
INVALID_TYPED_LITERALin plaats van_LEGACY_ERROR_TEMP_0020 - [SPARK-41049] [SC-119305] [SQL] Verwerking van stateful expressies opnieuw bezoeken
- [SPARK-41726] [SC-119248] [SQL] Verwijderen
OptimizedCreateHiveTableAsSelectCommand - [SPARK-41271] [SC-118648] [SC-118348] [SQL] Ondersteuning voor geparameteriseerde SQL-query's op
sql() - [SPARK-41066] [SC-119344] [VERBINDING MAKEN] [PYTHON] Implementeren
DataFrame.sampleByenDataFrame.stat.sampleBy - [SPARK-41407] [SC-119402] [SC-119012] [SQL] [ALLE TESTS] V1-schrijfbewerking naar WriteFiles ophalen
- [SPARK-41565] [SC-118868] [SQL] De foutklasse toevoegen
UNRESOLVED_ROUTINE - [SPARK-41668] [SC-118925] [SQL] De functie DECODE retourneert verkeerde resultaten wanneer null wordt doorgegeven
- [SPARK-41554] [SC-119274] oplossing voor het wijzigen van de decimaalschaal wanneer de schaal met m is afgenomen...
- [SPARK-41065] [SC-119324] [VERBINDING MAKEN] [PYTHON] Implementeren
DataFrame.freqItemsenDataFrame.stat.freqItems - [SPARK-41742] [SC-119404] [SPARK-41745] [VERBINDING MAKEN] [12.X] Documenttests opnieuw inschakelen en ontbrekende kolomalias toevoegen om count()
- [SPARK-41069] [SC-119310] [VERBINDING MAKEN] [PYTHON] Implementeren
DataFrame.approxQuantileenDataFrame.stat.approxQuantile - [SPARK-41809] [SC-119367] [VERBINDING MAKEN] [PYTHON]
from_jsonFunctie ondersteuning voor DataType-schema maken - [SPARK-41804] [SC-119382] [SQL] Kies de juiste elementgrootte voor
InterpretedUnsafeProjectionmatrix van UDF's - [SPARK-41786] [SC-119308] [VERBINDING MAKEN] [PYTHON] Helperfuncties ontdubbelen
- [SPARK-41745] [SC-119378] [SPARK-41789] [12.X] Ondersteuningslijst met rijen maken
createDataFrame - [SPARK-41344] [SC-119217] [SQL] Fout duidelijker maken wanneer tabel niet is gevonden in de catalogus SupportsCatalogOptions
- [SPARK-41803] [SC-119380] [VERBINDING MAKEN] [PYTHON] Ontbrekende functie toevoegen
log(arg1, arg2) - [SPARK-41808] [SC-119356] [VERBINDING MAKEN] [PYTHON] Ondersteuningsopties voor JSON-functies maken
- [SPARK-41779] [SC-119275] [SPARK-41771] [VERBINDING MAKEN] [PYTHON] Ondersteuningsfilter
__getitem__maken en selecteren - [SPARK-41783] [SC-119288] [SPARK-41770] [VERBINDING MAKEN] [PYTHON] Kolom op ondersteuning geen maken
- [SPARK-41440] [SC-119279] [VERBINDING MAKEN] [PYTHON] Vermijd de cacheoperator voor algemeen voorbeeld.
- [SPARK-41785] [SC-119290] [VERBINDING MAKEN] [PYTHON] Implementeren
GroupedData.mean - [SPARK-41629] [SC-119276] [VERBINDING MAKEN] Ondersteuning voor protocolextensies in relationele en expressie
- [SPARK-41417] [SC-118000] [CORE] [SQL] Naam wijzigen
_LEGACY_ERROR_TEMP_0019inINVALID_TYPED_LITERAL - [SPARK-41533] [SC-119342] [VERBINDING MAKEN] [12.X] Juiste foutafhandeling voor Spark Verbinding maken Server/Client
- [SPARK-41292] [SC-119357] [VERBINDING MAKEN] [12.X] Ondersteuningsvenster in pyspark.sql.window-naamruimte
- [SPARK-41493] [SC-119339] [VERBINDING MAKEN] [PYTHON] Ondersteuningsopties voor CSV-functies maken
- [SPARK-39591] [SC-118675] [SS] Asynchroon bijhouden van voortgang
- [SPARK-41767] [SC-119337] [VERBINDING MAKEN] [PYTHON] [12.X] Implementeren
Column.{withField, dropFields} - [SPARK-41068] [SC-119268] [VERBINDING MAKEN] [PYTHON] Implementeren
DataFrame.stat.corr - [SPARK-41655] [SC-119323] [VERBINDING MAKEN] [12.X] Doctests inschakelen in pyspark.sql.connect.column
- [SPARK-41738] [SC-119170] [VERBINDING MAKEN] Mix ClientId in SparkSession-cache
- [SPARK-41354] [SC-119194] [VERBINDING MAKEN] Toevoegen
RepartitionByExpressionaan proto - [SPARK-41784] [SC-119289] [VERBINDING MAKEN] [PYTHON] Ontbrekend toevoegen
__rmod__in kolom - [SPARK-41778] [SC-119262] [SQL] Een alias 'reduce' toevoegen aan ArrayAggregate
- [SPARK-41067] [SC-119171] [VERBINDING MAKEN] [PYTHON] Implementeren
DataFrame.stat.cov - [SPARK-41764] [SC-119216] [VERBINDING MAKEN] [PYTHON] De interne tekenreeks op naam consistent maken met FunctionRegistry
- [SPARK-41734] [SC-119160] [VERBINDING MAKEN] Een bovenliggend bericht voor Catalogus toevoegen
- [SPARK-41742] [SC-119263] Ondersteuning voor df.groupBy().agg({"*":"count"})
- [SPARK-41761] [SC-119213] [VERBINDING MAKEN] [PYTHON] Rekenkundige bewerkingen oplossen:
__neg__,__pow____rpow__ - [SPARK-41062] [SC-118182] [SQL] Naam wijzigen
UNSUPPORTED_CORRELATED_REFERENCEinCORRELATED_REFERENCE - [SPARK-41751] [SC-119211] [VERBINDING MAKEN] [PYTHON] Fix
Column.{isNull, isNotNull, eqNullSafe} - [SPARK-41728] [SC-119164] [VERBINDING MAKEN] [PYTHON] [12.X] Implementeer
unwrap_udtfunctie - [SPARK-41333] [SC-119195] [SPARK-41737] Implementeren
GroupedData.{min, max, avg, sum} - [SPARK-41751] [SC-119206] [VERBINDING MAKEN] [PYTHON] Fix
Column.{bitwiseAND, bitwiseOR, bitwiseXOR} - [SPARK-41631] [SC-101081] [SQL] Ondersteuning voor impliciete resolutie van de laterale kolomalias voor aggregaat
- [SPARK-41529] [SC-119207] [VERBINDING MAKEN] [12.X] SparkSession.stop implementeren
- [SPARK-41729] [SC-119205] [CORE] [SQL] [12.X] Naam wijzigen
_LEGACY_ERROR_TEMP_0011inUNSUPPORTED_FEATURE.COMBINATION_QUERY_RESULT_CLAUSES - [SPARK-41717] [SC-119078] [VERBINDING MAKEN] [12.X] Afdrukken en repr_html ontdubbelen bij LogicalPlan
- [SPARK-41740] [SC-119169] [VERBINDING MAKEN] [PYTHON] Implementeren
Column.name - [SPARK-41733] [SC-119163] [SQL] [SS] Op structuurpatroon gebaseerde pruning toepassen voor de regel ResolveWindowTime
- [SPARK-41732] [SC-119157] [SQL] [SS] Op structuurpatroon gebaseerde pruning toepassen voor de regel SessionWindowing
- [SPARK-41498] [SC-119018] Metagegevens doorgeven via Union
- [SPARK-41731] [SC-119166] [VERBINDING MAKEN] [PYTHON] [12.X] De kolomtoegangsor implementeren
- [SPARK-41736] [SC-119161] [VERBINDING MAKEN] [PYTHON]
pyspark_types_to_proto_typesmoet ondersteuning biedenArrayType - [SPARK-41473] [SC-119092] [VERBINDING MAKEN] [PYTHON] Implementeer
format_numberfunctie - [SPARK-41707] [SC-119141] [VERBINDING MAKEN] [12.X] Catalogus-API implementeren in Spark-Verbinding maken
- [SPARK-41710] [SC-119062] [VERBINDING MAKEN] [PYTHON] Implementeren
Column.between - [SPARK-41235] [SC-119088] [SQL] [PYTHON] Functie voor hoge volgorde: array_compact implementatie
- [SPARK-41518] [SC-118453] [SQL] Een naam toewijzen aan de foutklasse
_LEGACY_ERROR_TEMP_2422 - [SPARK-41723] [SC-119091] [VERBINDING MAKEN] [PYTHON] Implementeer
sequencefunctie - [SPARK-41703] [SC-119060] [VERBINDING MAKEN] [PYTHON] NullType en typed_null combineren in Letterlijk
- [SPARK-41722] [SC-119090] [VERBINDING MAKEN] [PYTHON] Drie ontbrekende tijdvensterfuncties implementeren
- [SPARK-41503] [SC-119043] [VERBINDING MAKEN] [PYTHON] Functies voor partitietransformatie implementeren
- [SPARK-41413] [SC-118968] [SQL] Vermijd willekeurige volgorde in gepartitioneerde join met opslag wanneer partitiesleutels niet overeenkomen, maar join-expressies zijn compatibel
- [SPARK-41700] [SC-119046] [VERBINDING MAKEN] [PYTHON] Verwijderen
FunctionBuilder - [SPARK-41706] [SC-119094] [VERBINDING MAKEN] [PYTHON]
pyspark_types_to_proto_typesmoet ondersteuning biedenMapType - [SPARK-41702] [SC-119049] [VERBINDING MAKEN] [PYTHON] Ongeldige kolomopzichten toevoegen
- [SPARK-41660] [SC-118866] [SQL] Metagegevenskolommen alleen doorgeven als ze worden gebruikt
- [SPARK-41637] [SC-119003] [SQL] ORDER BY ALL
- [SPARK-41513] [SC-118945] [SQL] Een accumulator implementeren om metrische gegevens voor het aantal kaarten per mapper-rij te verzamelen
- [SPARK-41647] [SC-119064] [VERBINDING MAKEN] [12.X] Docstrings ontdubbelen in pyspark.sql.connect.functions
- [SPARK-41701] [SC-119048] [VERBINDING MAKEN] [PYTHON] Ondersteuning voor kolomop maken
decimal - [SPARK-41383] [SC-119015] [SPARK-41692] [SPARK-41693] Implementeren
rollupencubepivot - [SPARK-41635] [SC-118944] [SQL] GROEPEREN OP ALLES
- [SPARK-41645] [SC-119057] [VERBINDING MAKEN] [12.X] Docstrings ontdubbelen in pyspark.sql.connect.dataframe
- [SPARK-41688] [SC-118951] [VERBINDING MAKEN] [PYTHON] Expressies verplaatsen naar expressions.py
- [SPARK-41687] [SC-118949] [VERBINDING MAKEN] Docstrings ontdubbelen in pyspark.sql.connect.group
- [SPARK-41649] [SC-118950] [VERBINDING MAKEN] Docstrings ontdubbelen in pyspark.sql.connect.window
- [SPARK-41681] [SC-118939] [VERBINDING MAKEN] Factor GroupedData naar group.py
- [SPARK-41292] [SC-119038] [SPARK-41640] [SPARK-41641] [VERBINDING MAKEN] [PYTHON] [12.X] Functies implementeren
Window - [SPARK-41675] [SC-119031] [SC-118934] [VERBINDING MAKEN] [PYTHON] [12.X] Ondersteuning voor kolomop maken
datetime - [SPARK-41672] [SC-118929] [VERBINDING MAKEN] [PYTHON] De afgeschafte functies inschakelen
- [SPARK-41673] [SC-118932] [VERBINDING MAKEN] [PYTHON] Implementeren
Column.astype - [SPARK-41364] [SC-118865] [VERBINDING MAKEN] [PYTHON] Implementeer
broadcastfunctie - [SPARK-41648] [SC-118914] [VERBINDING MAKEN] [12.X] Docstrings ontdubbelen in pyspark.sql.connect.readwriter
- [SPARK-41646] [SC-118915] [VERBINDING MAKEN] [12.X] Docstrings ontdubbelen in pyspark.sql.connect.session
- [SPARK-41643] [SC-118862] [VERBINDING MAKEN] [12.X] Docstrings ontdubbelen in pyspark.sql.connect.column
- [SPARK-41663] [SC-118936] [VERBINDING MAKEN] [PYTHON] [12.X] De rest van Lambda-functies implementeren
- [SPARK-41441] [SC-118557] [SQL] Ondersteuning genereren zonder vereiste onderliggende uitvoer voor het hosten van externe verwijzingen
- [SPARK-41669] [SC-118923] [SQL] Vroeg snoeien in canCollapseExpressions
- [SPARK-41639] [SC-118927] [SQL] [PROTOBUF] : ScalaReflectionLock verwijderen uit SchemaConverters
- [SPARK-41464] [SC-118861] [VERBINDING MAKEN] [PYTHON] Implementeren
DataFrame.to - [SPARK-41434] [SC-118857] [VERBINDING MAKEN] [PYTHON] Eerste
LambdaFunctionimplementatie - [SPARK-41539] [SC-118802] [SQL] Statistieken en beperkingen opnieuw toewijzen aan de hand van uitvoer in logisch plan voor LogicalRDD
- [SPARK-41396] [SC-118786] [SQL] [PROTOBUF] OneOf-veldondersteuning en recursiecontroles
- [SPARK-41528] [SC-118769] [VERBINDING MAKEN] [12.X] Naamruimte van Spark-Verbinding maken en PySpark-API samenvoegen
- [SPARK-41568] [SC-118715] [SQL] Naam toewijzen aan _LEGACY_ERROR_TEMP_1236
- [SPARK-41440] [SC-118788] [VERBINDING MAKEN] [PYTHON] Implementeren
DataFrame.randomSplit - [SPARK-41583] [SC-118718] [SC-118642] [VERBINDING MAKEN] [PROTOBUF] Spark-Verbinding maken en protobuf toevoegen aan setup.py met het opgeven van afhankelijkheden
- [SPARK-27561] [SC-101081] [12.x] [SQL] Ondersteuning voor impliciete resolutie van laterale kolomalias in Project
- [SPARK-41535] [SC-118645] [SQL] Null correct instellen voor kalenderintervalvelden in
InterpretedUnsafeProjectionenInterpretedMutableProjection - [SPARK-40687] [SC-118439] [SQL] Ondersteuning voor het maskeren van ingebouwde functie 'masker'
- [SPARK-41520] [SC-118440] [SQL] Splits AND_OR TreePattern om AND- en OR TreePatterns te scheiden
- [SPARK-41349] [SC-118668] [VERBINDING MAKEN] [PYTHON] DataFrame.hint implementeren
- [SPARK-41546] [SC-118541] [VERBINDING MAKEN] [PYTHON]
pyspark_types_to_proto_typesmoet StructType ondersteunen. - [SPARK-41334] [SC-118549] [VERBINDING MAKEN] [PYTHON] Proto
SortOrderverplaatsen van relaties naar expressies - [SPARK-41387] [SC-118450] [SS] Huidige eindverschil van Kafka-gegevensbron bevestigen voor Trigger.AvailableNow
- [SPARK-41508] [SC-118445] [CORE] [SQL] Naam wijzigen
_LEGACY_ERROR_TEMP_1180enUNEXPECTED_INPUT_TYPEverwijderen_LEGACY_ERROR_TEMP_1179 - [SPARK-41319] [SC-118441] [VERBINDING MAKEN] [PYTHON] Kolom implementeren. {when, otherwise} en function
whenwithUnresolvedFunction - [SPARK-41541] [SC-118460] [SQL] Aanroep naar verkeerde onderliggende methode in SQLShuffleWriteMetricsReporter.decRecordsWritten() opgelost
- [SPARK-41453] [SC-118458] [VERBINDING MAKEN] [PYTHON] Implementeren
DataFrame.subtract - [SPARK-41248] [SC-118436] [SC-118303] [SQL] Voeg spark.sql.json.enablePartialResults toe om gedeeltelijke JSON-resultaten in of uit te schakelen
- [SPARK-41437] Herstel [SC-117601][SQL] Optimaliseer de invoerquery niet tweemaal voor v1 write fallback
- [SPARK-41472] [SC-118352] [VERBINDING MAKEN] [PYTHON] De rest van tekenreeks-/binaire functies implementeren
- [SPARK-41526] [SC-118355] [VERBINDING MAKEN] [PYTHON] Implementeren
Column.isin - [SPARK-32170] [SC-118384] [CORE] Verbeter de speculatie via de metrische gegevens van de fasetaak.
- [SPARK-41524] [SC-118399] [SS] Onderscheid maken tussen SQLConf en extraOptions in StateStoreConf voor het gebruik in RocksDBConf
- [SPARK-41465] [SC-118381] [SQL] Een naam toewijzen aan de foutklasse _LEGACY_ERROR_TEMP_1235
- [SPARK-41511] [SC-118365] [SQL] Ondersteuning voor LongToUnsafeRowMap ignoresDuplicatedKey
- [SPARK-41409] [SC-118302] [CORE] [SQL] Naam wijzigen
_LEGACY_ERROR_TEMP_1043inWRONG_NUM_ARGS.WITHOUT_SUGGESTION - [SPARK-41438] [SC-118344] [VERBINDING MAKEN] [PYTHON] Implementeren
DataFrame.colRegex - [SPARK-41437] [SC-117601] [SQL] De invoerquery niet twee keer optimaliseren voor terugval van v1-schrijfbewerking
- [SPARK-41314] [SC-117172] [SQL] Een naam toewijzen aan de foutklasse
_LEGACY_ERROR_TEMP_1094 - [SPARK-41443] [SC-118004] [SQL] Een naam toewijzen aan de foutklasse _LEGACY_ERROR_TEMP_1061
- [SPARK-41506] [SC-118241] [VERBINDING MAKEN] [PYTHON] LiteralExpression herstructureren ter ondersteuning van DataType
- [SPARK-41448] [SC-118046] Consistente MR-taak-id's maken in FileBatchWriter en FileFormatWriter
- [SPARK-41456] [SC-117970] [SQL] De prestaties van try_cast verbeteren
- [SPARK-41495] [SC-118125] [VERBINDING MAKEN] [PYTHON] Functies implementeren
collection: P~Z - [SPARK-41478] [SC-118167] [SQL] Een naam toewijzen aan de foutklasse _LEGACY_ERROR_TEMP_1234
- [SPARK-41406] [SC-118161] [SQL] Foutbericht herstructureren om
NUM_COLUMNS_MISMATCHhet algemener te maken - [SPARK-41404] [SC-118016] [SQL] Herstructureren
ColumnVectorUtils#toBatchom test meer primitieve dataType te makenColumnarBatchSuite#testRandomRows - [SPARK-41468] [SC-118044] [SQL] PlanExpression-verwerking in EquivalentExpressions herstellen
- [SPARK-40775] [SC-118045] [SQL] Dubbele beschrijvingsvermeldingen voor V2-bestandsscans herstellen
- [SPARK-41492] [SC-118042] [VERBINDING MAKEN] [PYTHON] MISC-functies implementeren
- [SPARK-41459] [SC-118005] [SQL] fix thrift server operation log output is leeg
- [SPARK-41395] [SC-117899] [SQL]
InterpretedMutableProjectionmoet worden gebruiktsetDecimalom null-waarden in te stellen voor decimalen in een onveilige rij - [SPARK-41376] [SC-117840] [CORE] [3.3] Corrigeer de netty preferDirectBufs controlelogica bij het starten van de uitvoerders
- [SPARK-41484] [SC-118159] [SC-118036] [VERBINDING MAKEN] [PYTHON] [12.x] Functies implementeren
collection: E~M - [SPARK-41389] [SC-117426] [CORE] [SQL] Opnieuw gebruiken
WRONG_NUM_ARGSin plaats van_LEGACY_ERROR_TEMP_1044 - [SPARK-41462] [SC-117920] [SQL] Het datum- en tijdstempeltype kan casten naar TimestampNTZ
- [SPARK-41435] [SC-117810] [SQL] Wijzigen om aan te roepen
invalidFunctionArgumentsErrorcurdate()wanneerexpressionsdeze niet leeg is - [SPARK-41187] [SC-118030] [CORE] LiveExecutor MemoryLeak in AppStatusListener wanneer ExecutorLost plaatsvindt
- [SPARK-41360] [SC-118083] [CORE] Voorkom dat BlockManager opnieuw wordt geregistreerd als de uitvoerder verloren is gegaan
- [SPARK-41378] [SC-117686] [SQL] Ondersteuning voor kolomstatistieken in DS v2
- [SPARK-41402] [SC-117910] [SQL] [VERBINDING MAKEN] [12.X] PrettyName van StringDecode overschrijven
- [SPARK-41414] [SC-118041] [VERBINDING MAKEN] [PYTHON] [12.x] Datum-/tijdstempelfuncties implementeren
- [SPARK-41329] [SC-117975] [VERBINDING MAKEN] Kringimport in Spark-Verbinding maken oplossen
- [SPARK-41477] [SC-118025] [VERBINDING MAKEN] [PYTHON] Het gegevenstype van letterlijke gehele getallen correct afleiden
- [SPARK-41446] [SC-118024] [VERBINDING MAKEN] [PYTHON] [12.x] Ondersteuningsschema en meer typen invoergegevenssets maken
createDataFrame - [SPARK-41475] [SC-117997] [VERBINDING MAKEN] Lint-scala-opdrachtfout en typfout oplossen
- [SPARK-38277] [SC-117799] [SS] Schrijfbatch wissen na de doorvoer van de RocksDB-statusopslag
- [SPARK-41375] [SC-117801] [SS] Vermijd lege kafkaSourceOffset
- [SPARK-41412] [SC-118015] [VERBINDING MAKEN] Implementeren
Column.cast - [SPARK-41439] [SC-117893] [VERBINDING MAKEN] [PYTHON] Implementeren
DataFrame.meltenDataFrame.unpivot - [SPARK-41399] [SC-118007] [SC-117474] [VERBINDING MAKEN] Kolomgerelateerde tests herstructureren naar test_connect_column
- [SPARK-41351] [SC-117957] [SC-117412] [VERBINDING MAKEN] [12.x] Kolom moet != operator ondersteunen
- [SPARK-40697] [SC-117806] [SC-112787] [SQL] Tekenopvulling aan de leeszijde toevoegen om externe gegevensbestanden te behandelen
- [SPARK-41349] [SC-117594] [VERBINDING MAKEN] [12.X] DataFrame.hint implementeren
- [SPARK-41338] [SC-117170] [SQL] Externe verwijzingen en normale kolommen in dezelfde analysebatch oplossen
- [SPARK-41436] [SC-117805] [VERBINDING MAKEN] [PYTHON] Functies implementeren
collection: A~C - [SPARK-41445] [SC-117802] [VERBINDING MAKEN] DataFrameReader.parquet implementeren
- [SPARK-41452] [SC-117865] [SQL]
to_charmoet null retourneren wanneer de notatie null is - [SPARK-41444] [SC-117796] [VERBINDING MAKEN] Ondersteuning voor read.json()
- [SPARK-41398] [SC-117508] [SQL] Beperkingen voor join met opslagpartitionering versoepelen wanneer partitiesleutels na runtimefiltering niet overeenkomen
- [SPARK-41228] [SC-117169] [SQL] De naam van het foutbericht wijzigen en verbeteren voor
COLUMN_NOT_IN_GROUP_BY_CLAUSE. - [SPARK-41381] [SC-117593] [VERBINDING MAKEN] [PYTHON] Implementeren
count_distinctensum_distinctfuncties - [SPARK-41433] [SC-117596] [VERBINDING MAKEN] Max Pijl batchsize configureerbaar maken
- [SPARK-41397] [SC-117590] [VERBINDING MAKEN] [PYTHON] Onderdeel van tekenreeks-/binaire functies implementeren
- [SPARK-41382] [SC-117588] [VERBINDING MAKEN] [PYTHON] Implementeer
productfunctie - [SPARK-41403] [SC-117595] [VERBINDING MAKEN] [PYTHON] Implementeren
DataFrame.describe - [SPARK-41366] [SC-117580] [VERBINDING MAKEN] DF.groupby.agg() moet compatibel zijn
- [SPARK-41369] [SC-117584] [VERBINDING MAKEN] Algemene verbinding toevoegen aan gearceerde JAR van servers
- [SPARK-41411] [SC-117562] [SS] Probleemoplossing voor watermerk met meerdere stateful operatoren
- [SPARK-41176] [SC-116630] [SQL] Een naam toewijzen aan de foutklasse _LEGACY_ERROR_TEMP_1042
- [SPARK-41380] [SC-117476] [VERBINDING MAKEN] [PYTHON] [12.X] Aggregatiefuncties implementeren
- [SPARK-41363] [SC-117470] [VERBINDING MAKEN] [PYTHON] [12.X] Normale functies implementeren
- [SPARK-41305] [SC-117411] [VERBINDING MAKEN] Documentatie voor command proto verbeteren
- [SPARK-41372] [SC-117427] [VERBINDING MAKEN] [PYTHON] DataFrame TempView implementeren
- [SPARK-41379] [SC-117420] [SS] [PYTHON] Geef een gekloonde Spark-sessie op in DataFrame in de gebruikersfunctie voor foreachBatch-sink in PySpark
- [SPARK-41373] [SC-117405] [SQL] [FOUT] De naam van CAST_WITH_FUN_SUGGESTION wijzigen in CAST_WITH_FUNC_SUGGESTION
- [SPARK-41358] [SC-117417] [SQL] Methode voor herstructureren
ColumnVectorUtils#populateinPhysicalDataTypeplaats vanDataType - [SPARK-41355] [SC-117423] [SQL] Validatieprobleem met hive-tabelnaam tijdelijke oplossing
- [SPARK-41390] [SC-117429] [SQL] Het script bijwerken dat wordt gebruikt om een functie te genereren
registerinUDFRegistration - [SPARK-41206] [SC-117233] [SC-116381] [SQL] De naam van de foutklasse
_LEGACY_ERROR_TEMP_1233wijzigen inCOLUMN_ALREADY_EXISTS - [SPARK-41357] [SC-117310] [VERBINDING MAKEN] [PYTHON] [12.X] Wiskundige functies implementeren
- [SPARK-40970] [SC-117308] [VERBINDING MAKEN] [PYTHON] Ondersteuningslijst[Kolom] voor joins op argument
- [SPARK-41345] [SC-117178] [VERBINDING MAKEN] Hint toevoegen aan Verbinding maken Proto
- [SPARK-41226] [SC-117194] [SQL] [12.x] Spark-typen herstructureren door fysieke typen te introduceren
- [SPARK-41317] [SC-116902] [VERBINDING MAKEN] [PYTHON] [12.X] Basisondersteuning voor DataFrameWriter toevoegen
- [SPARK-41347] [SC-117173] [VERBINDING MAKEN] Cast toevoegen aan expressie proto
- [SPARK-41323] [SC-117128] [SQL] Ondersteunings-current_schema
- [SPARK-41339] [SC-117171] [SQL] Een RocksDB-schrijfbatch sluiten en opnieuw maken in plaats van alleen te wissen
- [SPARK-41227] [SC-117165] [VERBINDING MAKEN] [PYTHON] DataFrame-cross-join implementeren
- [SPARK-41346] [SC-117176] [VERBINDING MAKEN] [PYTHON] Implementeren
ascendescfuncties - [SPARK-41343] [SC-117166] [VERBINDING MAKEN] FunctionName parseren naar serverzijde verplaatsen
- [SPARK-41321] [SC-117163] [VERBINDING MAKEN] Ondersteuningsdoelveld voor UnresolvedStar
- [SPARK-41237] [SC-117167] [SQL] De foutklasse
UNSUPPORTED_DATATYPEopnieuw gebruiken voor_LEGACY_ERROR_TEMP_0030 - [SPARK-41309] [SC-116916] [SQL] Opnieuw gebruiken
INVALID_SCHEMA.NON_STRING_LITERALin plaats van_LEGACY_ERROR_TEMP_1093 - [SPARK-41276] [SC-117136] [SQL] [ML] [MLLIB] [PROTOBUF] [PYTHON] [R] [SS] [AVRO] Constructorgebruik optimaliseren
StructType - [SPARK-41335] [SC-117135] [VERBINDING MAKEN] [PYTHON] Ondersteuning voor IsNull en IsNotNull in kolom
- [SPARK-41332] [SC-117131] [VERBINDING MAKEN] [PYTHON] Oplossing
nullOrderinginSortOrder - [SPARK-41325] [SC-117132] [VERBINDING MAKEN] [12.X] Ontbrekende avg() voor GroupBy op DF oplossen
- [SPARK-41327] [SC-117137] [CORE] Oplossing
SparkStatusTracker.getExecutorInfosdoor in-/UitHeapStorageMemory-info - [SPARK-41315] [SC-117129] [VERBINDING MAKEN] [PYTHON] Implementeren
DataFrame.replaceenDataFrame.na.replace - [SPARK-41328] [SC-117125] [VERBINDING MAKEN] [PYTHON] Logische API en tekenreeks-API toevoegen aan kolom
- [SPARK-41331] [SC-117127] [VERBINDING MAKEN] [PYTHON] Toevoegen
orderByendrop_duplicates - [SPARK-40987] [SC-117124] [CORE]
BlockManager#removeBlockInternalervoor te zorgen dat de vergrendeling probleemloos is ontgrendeld - [SPARK-41268] [SC-117102] [SC-116970] [VERBINDING MAKEN] [PYTHON] Kolom herstructureren voor API-compatibiliteit
- [SPARK-41312] [SC-116881] [VERBINDING MAKEN] [PYTHON] [12.X] DataFrame.withColumnRenamed implementeren
- [SPARK-41221] [SC-116607] [SQL] De foutklasse toevoegen
INVALID_FORMAT - [SPARK-41272] [SC-116742] [SQL] Een naam toewijzen aan de foutklasse _LEGACY_ERROR_TEMP_2019
- [SPARK-41180] [SC-116760] [SQL] Opnieuw gebruiken
INVALID_SCHEMAin plaats van_LEGACY_ERROR_TEMP_1227 - [SPARK-41260] [SC-116880] [PYTHON] [SS] [12.X] NumPy-exemplaren casten naar primitieve Python-typen in GroupState-update
- [SPARK-41174] [SC-116609] [CORE] [SQL] Een foutklasse doorgeven aan gebruikers voor een ongeldige
formatfoutto_binary() - [SPARK-41264] [SC-116971] [VERBINDING MAKEN] [PYTHON] Letterlijke ondersteuning bieden voor meer gegevenstypen
- [SPARK-41326] [SC-116972] [VERBINDING MAKEN] Er ontbreekt invoer voor ontdubbeling
- [SPARK-41316] [SC-116900] [SQL] Tail-recursion waar mogelijk inschakelen
- [SPARK-41297] [SC-116931] [VERBINDING MAKEN] [PYTHON] Ondersteuning voor tekenreeksexpressies in filter.
- [SPARK-41256] [SC-116932] [SC-116883] [VERBINDING MAKEN] DataFrame.withColumn(s) implementeren
- [SPARK-41182] [SC-116632] [SQL] Een naam toewijzen aan de foutklasse _LEGACY_ERROR_TEMP_1102
- [SPARK-41181] [SC-116680] [SQL] De kaartoptiesfouten migreren naar foutklassen
- [SPARK-40940] [SC-115993] [12.x] Verwijder controleprogramma's met meerdere stateful operatoren voor streamingquery's.
- [SPARK-41310] [SC-116885] [VERBINDING MAKEN] [PYTHON] DataFrame.toDF implementeren
- [SPARK-41179] [SC-116631] [SQL] Een naam toewijzen aan de foutklasse _LEGACY_ERROR_TEMP_1092
- [SPARK-41003] [SC-116741] [SQL] BHJ LeftAnti werkt numOutputRows niet bij wanneer codegen is uitgeschakeld
- [SPARK-41148] [SC-116878] [VERBINDING MAKEN] [PYTHON] Implementeren
DataFrame.dropnaenDataFrame.na.drop - [SPARK-41217] [SC-116380] [SQL] De foutklasse toevoegen
FAILED_FUNCTION_CALL - [SPARK-41308] [SC-116875] [VERBINDING MAKEN] [PYTHON] DataFrame.count() verbeteren
- [SPARK-41301] [SC-116786] [VERBINDING MAKEN] Gedrag homogeniseren voor SparkSession.range()
- [SPARK-41306] [SC-116860] [VERBINDING MAKEN] Protodocumentatie voor Verbinding maken Expression verbeteren
- [SPARK-41280] [SC-116733] [VERBINDING MAKEN] DataFrame.tail implementeren
- [SPARK-41300] [SC-116751] [VERBINDING MAKEN] Het niet-instelschema wordt geïnterpreteerd als schema
- [SPARK-41255] [SC-116730] [SC-116695] [VERBINDING MAKEN] Naam van RemoteSparksession wijzigen
- [SPARK-41250] [SC-116788] [SC-116633] [VERBINDING MAKEN] [PYTHON] DataFrame. toPandas mag geen optionele pandas-dataframe retourneren
- [SPARK-41291] [SC-116738] [VERBINDING MAKEN] [PYTHON]
DataFrame.explainmoet geen afdrukken en retourneren - [SPARK-41278] [SC-116732] [VERBINDING MAKEN] Ongebruikte QualifiedAttribute opschonen in Expression.proto
- [SPARK-41097] [SC-116653] [CORE] [SQL] [SS] [PROTOBUF] Redundante verzamelingconversiebasis verwijderen op Scala 2.13-code
- [SPARK-41261] [SC-116718] [PYTHON] [SS] Probleem opgelost voor applyInPandasWithState wanneer de kolommen met groeperingssleutels niet in volgorde van vroegste worden geplaatst
- [SPARK-40872] [SC-116717] [3.3] Terugval naar oorspronkelijk shuffle-blok wanneer een segment met push-samengevoegde willekeurige volgorde nul is
- [SPARK-41114] [SC-116628] [VERBINDING MAKEN] Lokale gegevens voor LocalRelation ondersteunen
- [SPARK-41216] [SC-116678] [VERBINDING MAKEN] [PYTHON] Implementeren
DataFrame.{isLocal, isStreaming, printSchema, inputFiles} - [SPARK-41238] [SC-116670] [VERBINDING MAKEN] [PYTHON] Ondersteuning voor meer ingebouwde gegevenstypen
- [SPARK-41230] [SC-116674] [VERBINDING MAKEN] [PYTHON] Verwijderen
struit het expressietype Aggregatie - [SPARK-41224] [SC-116652] [SPARK-41165] [SPARK-41184] [VERBINDING MAKEN] Geoptimaliseerde op pijl gebaseerde collect-implementatie om van server naar client te streamen
- [SPARK-41222] [SC-116625] [VERBINDING MAKEN] [PYTHON] De typende definities samenvoegen
- [SPARK-41225] [SC-116623] [VERBINDING MAKEN] [PYTHON] Niet-ondersteunde functies uitschakelen.
- [SPARK-41201] [SC-116526] [VERBINDING MAKEN] [PYTHON] Implementeren
DataFrame.SelectExprin Python-client - [SPARK-41203] [SC-116258] [VERBINDING MAKEN] Ondersteuning voor Dataframe.tansform in de Python-client.
- [SPARK-41213] [SC-116375] [VERBINDING MAKEN] [PYTHON] Implementeren
DataFrame.__repr__enDataFrame.dtypes - [SPARK-41169] [SC-116378] [VERBINDING MAKEN] [PYTHON] Implementeren
DataFrame.drop - [SPARK-41172] [SC-116245] [SQL] De dubbelzinnige verw-fout migreren naar een foutklasse
- [SPARK-41122] [SC-116141] [VERBINDING MAKEN] Uitleg-API kan verschillende modi ondersteunen
- [SPARK-41209] [SC-116584] [SC-116376] [PYTHON] PySpark-typedeductie verbeteren in _merge_type methode
- [SPARK-41196] [SC-116555] [SC-116179] [VERBINDING MAKEN] Homogeniseer de protobuf-versie op de Spark Connect-server om dezelfde primaire versie te gebruiken.
- [SPARK-35531] [SC-116409] [SQL] Hive-tabelstatistieken bijwerken zonder onnodige conversie
- [SPARK-41154] [SC-116289] [SQL] Onjuiste relation caching voor query's met time travel spec
- [SPARK-41212] [SC-116554] [SC-116389] [VERBINDING MAKEN] [PYTHON] Implementeren
DataFrame.isEmpty - [SPARK-41135] [SC-116400] [SQL] Naam wijzigen
UNSUPPORTED_EMPTY_LOCATIONinINVALID_EMPTY_LOCATION - [SPARK-41183] [SC-116265] [SQL] Een extensie-API toevoegen om normalisatie voor caching uit te voeren
- [SPARK-41054] [SC-116447] [UI] [CORE] Ondersteuning voor RocksDB als KVStore in live UI
- [SPARK-38550] [SC-115223] '[SQL][CORE] Gebruik een opslag op basis van een schijf om meer foutopsporingsgegevens op te slaan voor de live-gebruikersinterface'
- [SPARK-41173] [SC-116185] [SQL] Verplaatsen
require()van de constructors van tekenreeksexpressies - [SPARK-41188] [SC-116242] [CORE] [ML] Set executorEnv OMP_NUM_THREADS to be spark.task.cpus by default for spark executor JVM processes
- [SPARK-41130] [SC-116155] [SQL] Naam wijzigen
OUT_OF_DECIMAL_TYPE_RANGEinNUMERIC_OUT_OF_SUPPORTED_RANGE - [SPARK-41175] [SC-116238] [SQL] Een naam toewijzen aan de foutklasse _LEGACY_ERROR_TEMP_1078
- [SPARK-41106] [SC-116073] [SQL] Verzamelingsconversie verminderen bij het maken van AttributeMap
- [SPARK-41139] [SC-115983] [SQL] Foutklasse verbeteren:
PYTHON_UDF_IN_ON_CLAUSE - [SPARK-40657] [SC-115997] [PROTOBUF] Arcering vereisen voor Java-klasse JAR, foutafhandeling verbeteren
- [SPARK-40999] [SC-116168] Hintdoorgifte naar subquery's
- [SPARK-41017] [SC-116054] [SQL] Ondersteuning voor het snoeien van kolommen met meerdere niet-deterministische filters
- [SPARK-40834] [SC-114773] [SQL] SparkListenerSQLExecutionEnd gebruiken om de uiteindelijke SQL-status in de gebruikersinterface bij te houden
- [SPARK-41118] [SC-116027] [SQL]
to_number/try_to_numbermoet worden geretourneerdnullwanneer de notatie isnull - [SPARK-39799] [SC-115984] [SQL] DataSourceV2: Catalogusinterface weergeven
- [SPARK-40665] [SC-116210] [SC-112300] [VERBINDING MAKEN] Voorkomen dat Spark-Verbinding maken worden ingesloten in de binaire versie van Apache Spark
- [SPARK-41048] [SC-116043] [SQL] Uitvoerpartitionering en -volgorde verbeteren met AQE-cache
- [SPARK-41198] [SC-116256] [SS] Metrische gegevens in streamingquery oplossen met CTE- en DSv1-streamingbron
- [SPARK-41199] [SC-116244] [SS] Probleem met metrische gegevens oplossen wanneer de DSv1-streamingbron en de DSv2-streamingbron gezamenlijk worden gebruikt
- [SPARK-40957] [SC-116261] [SC-114706] Geheugencache toevoegen in HDFSMetadataLog
- [SPARK-40940] "[SC-115993] Verwijder multi stateful operatorcheckers voor streamingquery's.
- [SPARK-41090] [SC-116040] [SQL] Uitzondering genereren voor
db_name.view_namehet maken van een tijdelijke weergave per gegevensset-API - [SPARK-41133] [SC-116085] [SQL] Integreren
UNSCALED_VALUE_TOO_LARGE_FOR_PRECISIONinNUMERIC_VALUE_OUT_OF_RANGE - [SPARK-40557] [SC-116182] [SC-111442] [VERBINDING MAKEN] Doorvoeringen voor codedump 9
- [SPARK-40448] [SC-114447] [SC-111314] [VERBINDING MAKEN] Spark Verbinding maken bouwen als invoegtoepassing voor stuurprogramma's met gearceerde afhankelijkheden
- [SPARK-41096] [SC-115812] [SQL] Ondersteuning voor het lezen van Parquet FIXED_LEN_BYTE_ARRAY-type
- [SPARK-41140] [SC-115879] [SQL] De naam van de foutklasse
_LEGACY_ERROR_TEMP_2440wijzigen inINVALID_WHERE_CONDITION - [SPARK-40918] [SC-114438] [SQL] Komt niet overeen tussen FileSourceScanExec en Orc en ParquetFileFormat bij het produceren van kolomuitvoer
- [SPARK-41155] [SC-115991] [SQL] Foutbericht toevoegen aan SchemaColumnConvertNotSupportedException
- [SPARK-40940] [SC-115993] Verwijder controleprogramma's met meerdere stateful operatoren voor streamingquery's.
- [SPARK-41098] [SC-115790] [SQL] Naam wijzigen
GROUP_BY_POS_REFERS_AGG_EXPRinGROUP_BY_POS_AGGREGATE - [SPARK-40755] [SC-115912] [SQL] Fout bij het migreren van typecontrole van getalnotatie naar foutklassen
- [SPARK-41059] [SC-115658] [SQL] Naam wijzigen
_LEGACY_ERROR_TEMP_2420inNESTED_AGGREGATE_FUNCTION - [SPARK-41044] [SC-115662] [SQL] Converteer DATATYPE_MISMATCH. UNSPECIFIED_FRAME to INTERNAL_ERROR
- [SPARK-40973] [SC-115132] [SQL] Naam wijzigen
_LEGACY_ERROR_TEMP_0055inUNCLOSED_BRACKETED_COMMENT
Onderhoudsupdates
Zie onderhoudsupdates voor Databricks Runtime 12.1.
Systeemomgeving
- Besturingssysteem: Ubuntu 20.04.5 LTS
- Java: Zulu 8.64.0.19-CA-linux64
- Scala: 2.12.14
- Python: 3.9.5
- R: 4.2.2
- Delta Lake: 2.2.0
Geïnstalleerde Python-bibliotheken
| Bibliotheek | Versie | Bibliotheek | Versie | Bibliotheek | Versie |
|---|---|---|---|---|---|
| argon2-cffi | 21.3.0 | argon2-cffi-bindingen | 21.2.0 | asttokens | 2.0.5 |
| attrs | 21.4.0 | backcall | 0.2.0 | backports.entry-points-selectable | 1.2.0 |
| beautifulsoup4 | 4.11.1 | zwart | 22.3.0 | Bleekmiddel | 4.1.0 |
| boto3 | 1.21.32 | botocore | 1.24.32 | certifi | 2021.10.8 |
| Cffi | 1.15.0 | Chardet | 4.0.0 | charset-normalizer | 2.0.4 |
| klikken | 8.0.4 | Cryptografie | 3.4.8 | cycler | 0.11.0 |
| Cython | 0.29.28 | dbus-python | 1.2.16 | foutopsporing | 1.5.1 |
| Decorator | 5.1.1 | defusedxml | 0.7.1 | distlib | 0.3.6 |
| docstring-to-markdown | 0,11 | invoerpunten | 0,4 | Uitvoeren | 0.8.3 |
| facets-overview | 1.0.0 | fastjsonschema | 2.16.2 | filelock | 3.8.2 |
| Fonttools | 4.25.0 | idna | 3.3 | ipykernel | 6.15.3 |
| Ipython | 8.5.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| Jedi | 0.18.1 | Jinja2 | 2.11.3 | jmespath | 0.10.0 |
| joblib | 1.1.0 | jsonschema | 4.4.0 | jupyter-client | 6.1.12 |
| jupyter_core | 4.11.2 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 |
| kiwisolver | 1.3.2 | MarkupSafe | 2.0.1 | matplotlib | 3.5.1 |
| matplotlib-inline | 0.1.2 | Mccabe | 0.7.0 | mistune | 0.8.4 |
| mypy-extensions | 0.4.3 | nbclient | 0.5.13 | nbconvert | 6.4.4 |
| nbformat | 5.3.0 | nest-asyncio | 1.5.5 | nodeenv | 1.7.0 |
| notebook | 6.4.8 | Numpy | 1.21.5 | Verpakking | 21.3 |
| Pandas | 1.4.2 | pandocfilters | 1.5.0 | parso | 0.8.3 |
| pathspec | 0.9.0 | Patsy | 0.5.2 | Pexpect | 4.8.0 |
| pickleshare | 0.7.5 | Kussen | 9.0.1 | Pip | 21.2.4 |
| platformdirs | 2.6.0 | plotly | 5.6.0 | pluggy | 1.0.0 |
| prometheus-client | 0.13.1 | prompt-toolkit | 3.0.20 | protobuf | 3.19.4 |
| psutil | 5.8.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pure-eval | 0.2.2 | pyarrow | 7.0.0 | pycparser | 2.21 |
| Pyflakes | 2.5.0 | Pygments | 2.11.2 | Pygobject | 3.36.0 |
| pyodbc | 4.0.32 | Pyparsing | 3.0.4 | pyright | 1.1.283 |
| pyrsistent | 0.18.0 | python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.0.0 |
| python-lsp-server | 1.6.0 | pytz | 2021.3 | pyzmq | 22.3.0 |
| requests | 2.27.1 | requests-unixsocket | 0.2.0 | Touw | 0.22.0 |
| s3transfer | 0.5.0 | scikit-learn | 1.0.2 | Scipy | 1.7.3 |
| seaborn | 0.11.2 | Send2Trash | 1.8.0 | Setuptools | 61.2.0 |
| Zes | 1.16.0 | soepsieve | 2.3.1 | ssh-import-id | 5.10 |
| stack-data | 0.2.0 | statsmodels | 0.13.2 | Vasthoudendheid | 8.0.1 |
| terminado | 0.13.1 | testpath | 0.5.0 | threadpoolctl | 2.2.0 |
| tokenize-rt | 4.2.1 | tomli | 1.2.2 | Tornado | 6.1 |
| traitlets | 5.1.1 | typing_extensions | 4.1.1 | ujson | 5.1.0 |
| upgrades zonder toezicht | 0,1 | urllib3 | 1.26.9 | Virtualenv | 20.8.0 |
| wcwidth | 0.2.5 | webencodings | 0.5.1 | whatthepatch | 1.0.3 |
| Wiel | 0.37.0 | widgetsnbextension | 3.6.1 | yapf | 0.31.0 |
Geïnstalleerde R-bibliotheken
R-bibliotheken worden geïnstalleerd vanuit de Microsoft CRAN-momentopname op 2022-11-11.
| Bibliotheek | Versie | Bibliotheek | Versie | Bibliotheek | Versie |
|---|---|---|---|---|---|
| pijl | 10.0.0 | Askpass | 1.1 | assertthat | 0.2.1 |
| Backports | 1.4.1 | base | 4.2.2 | base64enc | 0.1-3 |
| bit | 4.0.4 | bit64 | 4.0.5 | blob | 1.2.3 |
| opstarten | 1.3-28 | Brouwsel | 1.0-8 | Brio | 1.1.3 |
| Bezem | 1.0.1 | bslib | 0.4.1 | cachem | 1.0.6 |
| beller | 3.7.3 | caret | 6.0-93 | cellranger | 1.1.0 |
| Chron | 2.3-58 | class | 7.3-20 | cli | 3.4.1 |
| clipr | 0.8.0 | Klok | 0.6.1 | cluster | 2.1.4 |
| Codetools | 0.2-18 | Colorspace | 2.0-3 | commonmark | 1.8.1 |
| Compiler | 4.2.2 | configuratie | 0.3.1 | cpp11 | 0.4.3 |
| Crayon | 1.5.2 | aanmeldingsgegevens | 1.3.2 | curl | 4.3.3 |
| data.table | 1.14.4 | gegevenssets | 4.2.2 | DBI | 1.1.3 |
| dbplyr | 2.2.1 | Desc | 1.4.2 | Devtools | 2.4.5 |
| diffobj | 0.3.5 | Digest | 0.6.30 | downlit | 0.4.2 |
| dplyr | 1.0.10 | dtplyr | 1.2.2 | e1071 | 1.7-12 |
| ellipsis | 0.3.2 | evaluate | 0,18 | fansi | 1.0.3 |
| farver | 2.1.1 | fastmap | 1.1.0 | fontawesome | 0.4.0 |
| forcats | 0.5.2 | foreach | 1.5.2 | Buitenlandse | 0.8-82 |
| Forge | 0.2.0 | Fs | 1.5.2 | Toekomst | 1.29.0 |
| future.apply | 1.10.0 | Gorgelen | 1.2.1 | Generics | 0.1.3 |
| Gert | 1.9.1 | ggplot2 | 3.4.0 | Gh | 1.3.1 |
| gitcreds | 0.1.2 | glmnet | 4.1-4 | Globals | 0.16.1 |
| Lijm | 1.6.2 | googledrive | 2.0.0 | googlesheets4 | 1.0.1 |
| Gower | 1.0.0 | afbeeldingen | 4.2.2 | grDevices | 4.2.2 |
| Raster | 4.2.2 | gridExtra | 2.3 | gsubfn | 0,7 |
| gtable | 0.3.1 | hardhat | 1.2.0 | haven | 2.5.1 |
| highr | 0,9 | Hms | 1.1.2 | htmltools | 0.5.3 |
| htmlwidgets | 1.5.4 | httpuv | 1.6.6 | httr | 1.4.4 |
| ids | 1.0.1 | Ini | 0.3.1 | Ipred | 0.9-13 |
| isoband | 0.2.6 | Iterators | 1.0.14 | jquerylib | 0.1.4 |
| jsonlite | 1.8.3 | Kernsmooth | 2.23-20 | breiwerk | 1,40 |
| Labeling | 0.4.2 | Later | 1.3.0 | Lattice | 0.20-45 |
| lava | 1.7.0 | levenscyclus | 1.0.3 | listenv | 0.8.0 |
| lubridate | 1.9.0 | magrittr | 2.0.3 | Markdown | 1.3 |
| MASS | 7.3-58 | Matrix | 1.5-1 | memoise | 2.0.1 |
| methoden | 4.2.2 | Mgcv | 1.8-41 | Mime | 0,12 |
| miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 | modeller | 0.1.9 |
| munsell | 0.5.0 | Nlme | 3.1-160 | Nnet | 7.3-18 |
| numDeriv | 2016.8-1.1 | openssl | 2.0.4 | parallel | 4.2.2 |
| parallel | 1.32.1 | Pijler | 1.8.1 | pkgbuild | 1.3.1 |
| Pkgconfig | 2.0.3 | pkgdown | 2.0.6 | pkgload | 1.3.1 |
| plogr | 0.2.0 | plyr | 1.8.7 | Lof | 1.0.0 |
| prettyunits | 1.1.1 | Proc | 1.18.0 | processx | 3.8.0 |
| prodlim | 2019.11.13 | profvis | 0.3.7 | Voortgang | 1.2.2 |
| progressr | 0.11.0 | Beloften | 1.2.0.1 | Proto | 1.0.0 |
| Proxy | 0.4-27 | ps | 1.7.2 | Purrr | 0.3.5 |
| r2d3 | 0.2.6 | R6 | 2.5.1 | ragg | 1.2.4 |
| randomForest | 4.7-1.1 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
| Rcolorbrewer | 1.1-3 | Rcpp | 1.0.9 | RcppEigen | 0.3.3.9.3 |
| leesbewerking | 2.1.3 | readxl | 1.4.1 | recepten | 1.0.3 |
| Rematch | 1.0.1 | opnieuw overeenkomen2 | 2.1.2 | Afstandsbedieningen | 2.4.2 |
| reprex | 2.0.2 | hervorm2 | 1.4.4 | rlang | 1.0.6 |
| rmarkdown | 2.18 | RODBC | 1.3-19 | roxygen2 | 7.2.1 |
| Rpart | 4.1.19 | rprojroot | 2.0.3 | Rserve | 1.8-11 |
| RSQLite | 2.2.18 | rstudioapi | 0,14 | rversions | 2.1.2 |
| rvest | 1.0.3 | Sass | 0.4.2 | Schalen | 1.2.1 |
| selectr | 0.4-2 | sessioninfo | 1.2.2 | Vorm | 1.4.6 |
| Glanzende | 1.7.3 | sourcetools | 0.1.7 | sparklyr | 1.7.8 |
| SparkR | 3.3.1 | Ruimtelijke | 7.3-11 | Splines | 4.2.2 |
| sqldf | 0.4-11 | SQUAREM | 2021.1 | Stats | 4.2.2 |
| stats4 | 4.2.2 | stringi | 1.7.8 | stringr | 1.4.1 |
| Overleving | 3.4-0 | sys | 3.4.1 | systemfonts | 1.0.4 |
| Tcltk | 4.2.2 | testthat | 3.1.5 | tekstvorm | 0.3.6 |
| tibble | 3.1.8 | tidyr | 1.2.1 | tidyselect | 1.2.0 |
| tidyverse | 1.3.2 | timechange | 0.1.1 | Timedate | 4021.106 |
| tinytex | 0.42 | tools | 4.2.2 | tzdb | 0.3.0 |
| urlchecker | 1.0.1 | usethis | 2.1.6 | utf8 | 1.2.2 |
| utils | 4.2.2 | uuid | 1.1-0 | vctrs | 0.5.0 |
| viridisLite | 0.4.1 | Vroom | 1.6.0 | Waldo | 0.4.0 |
| whisker | 0,4 | withr | 2.5.0 | xfun | 0.34 |
| xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
| Yaml | 2.3.6 | Zip | 2.2.2 |
Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)
| Groeps-id | Artefact-id | Versie |
|---|---|---|
| Antlr | Antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.189 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.189 |
| com.amazonaws | aws-java-sdk-config | 1.12.189 |
| com.amazonaws | aws-java-sdk-core | 1.12.189 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.189 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.189 |
| com.amazonaws | aws-java-sdk-directory | 1.12.189 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.189 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.189 |
| com.amazonaws | aws-java-sdk-efs | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.189 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.189 |
| com.amazonaws | aws-java-sdk-emr | 1.12.189 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.189 |
| com.amazonaws | aws-java-sdk-glue | 1.12.189 |
| com.amazonaws | aws-java-sdk-iam | 1.12.189 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.189 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.189 |
| com.amazonaws | aws-java-sdk-kms | 1.12.189 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.189 |
| com.amazonaws | aws-java-sdk-logs | 1.12.189 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.189 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.189 |
| com.amazonaws | aws-java-sdk-rds | 1.12.189 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.189 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.189 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ses | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.189 |
| com.amazonaws | aws-java-sdk-sns | 1.12.189 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.189 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.189 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.189 |
| com.amazonaws | aws-java-sdk-sts | 1.12.189 |
| com.amazonaws | aws-java-sdk-support | 1.12.189 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.189 |
| com.amazonaws | jmespath-java | 1.12.189 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | Stream | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-gearceerd | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | Klasgenoot | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotaties | 2.13.4 |
| com.fasterxml.jackson.core | jackson-core | 2.13.4 |
| com.fasterxml.jackson.core | jackson-databind | 2.13.4.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.13.4 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.13.4 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.13.4 |
| com.github.ben-manes.cafeïne | Cafeïne | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | kern | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.5.2-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.8.6 |
| com.google.crypto.tink | Tink | 1.6.1 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | Guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 2.0.204 |
| com.helger | profiler | 1.1.1 |
| com.jcraft | Jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.ning | compress-lzf | 1.1 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | configuratie | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.0 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.15 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.11.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.netje.netlib | Arpack | 2.2.1 |
| dev.netje.netlib | Blas | 2.2.1 |
| dev.netje.netlib | Lapack | 2.2.1 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.21 |
| io.delta | delta-sharing-spark_2.12 | 0.6.2 |
| io.dropwizard.metrics | metrische gegevenskern | 4.1.1 |
| io.dropwizard.metrics | metrische gegevensgrafiet | 4.1.1 |
| io.dropwizard.metrics | metrische statuscontroles | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.74.Final |
| io.netty | netty-buffer | 4.1.74.Final |
| io.netty | netty-codec | 4.1.74.Final |
| io.netty | netty-common | 4.1.74.Final |
| io.netty | netty-handler | 4.1.74.Final |
| io.netty | netty-resolver | 4.1.74.Final |
| io.netty | netty-tcnative-classes | 2.0.48.Final |
| io.netty | netty-transport | 4.1.74.Final |
| io.netty | netty-transport-classes-epoll | 4.1.74.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-unix-common | 4.1.74.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | Collector | 0.12.0 |
| jakarta.annotatie | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activering | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | Jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| Jline | Jline | 2.14.6 |
| joda-time | joda-time | 2.10.13 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | Augurk | 1.2 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-CSV | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.22 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8 |
| org.antlr | Stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | pijlnotatie | 7.0.0 |
| org.apache.arrow | arrow-memory-core | 7.0.0 |
| org.apache.arrow | arrow-memory-netty | 7.0.0 |
| org.apache.arrow | pijlvector | 7.0.0 |
| org.apache.avro | Avro | 1.11.0 |
| org.apache.avro | avro-ipc | 1.11.0 |
| org.apache.avro | avro-mapred | 1.11.0 |
| org.apache.commons | commons-collections4 | 4.4 |
| org.apache.commons | commons-compress | 1.21 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.10.0 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recepten | 2.13.0 |
| org.apache.derby | Derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-api | 3.3.4-databricks |
| org.apache.hadoop | hadoop-client-runtime | 3.3.4 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.13 |
| org.apache.httpcomponents | httpcore | 4.4.14 |
| org.apache.ivy | Ivy | 2.5.0 |
| org.apache.logging.log4j | log4j-1.2-api | 2.18.0 |
| org.apache.logging.log4j | log4j-api | 2.18.0 |
| org.apache.logging.log4j | log4j-core | 2.18.0 |
| org.apache.logging.log4j | log4j-slf4j-impl | 2.18.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.7.6 |
| org.apache.orc | orc-mapreduce | 1.7.6 |
| org.apache.orc | orc-shims | 1.7.6 |
| org.apache.parquet | parquet-column | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-common | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-codering | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-format-structuren | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-hadoop | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-jackson | 1.12.3-databricks-0002 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm9-gearceerd | 4.20 |
| org.apache.yetus | aantekeningen voor doelgroepen | 0.13.0 |
| org.apache.zookeeper | zookeeper | 3.6.2 |
| org.apache.zookeeper | zookeeper-jute | 3.6.2 |
| org.checkerframework | checker-qual | 3.5.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | Janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-vervolg | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-http | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-io | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-jndi | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-plus | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-proxy | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-security | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-server | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlet | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlets | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-webapp | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-xml | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.46.v20220331 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance opnieuw verpakt | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.36 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.36 |
| org.glassfish.jersey.core | jersey-client | 2.36 |
| org.glassfish.jersey.core | jersey-common | 2.36 |
| org.glassfish.jersey.core | jersey-server | 2.36 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.36 |
| org.hibernate.validator | sluimerstand-validator | 6.1.0.Final |
| org.javassist | Javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | Aantekeningen | 17.0.0 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.7.4 |
| org.mlflow | mlflow-spark | 1.27.0 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.3.3 |
| org.roaringbitmap | RoaringBitmap | 0.9.25 |
| org.roaringbitmap | Shims | 0.9.25 |
| org.rocksdb | rocksdbjni | 6.24.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.14 |
| org.scala-lang | scala-library_2.12 | 2.12.14 |
| org.scala-lang | scala-reflect_2.12 | 2.12.14 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.2 |
| org.scalanlp | breeze_2.12 | 1.2 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.36 |
| org.slf4j | jul-to-slf4j | 1.7.36 |
| org.slf4j | slf4j-api | 1.7.36 |
| org.spark-project.spark | Ongebruikte | 1.0.0 |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | Xz | 1,9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | katten-kernel_2.12 | 2.1.1 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.4 |
| org.yaml | snakeyaml | 1,24 |
| Oro | Oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| Stax | stax-api | 1.0.1 |