Databricks Runtime 10.4 LTS

  • Artikel

De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 10.4 LTS en Databricks Runtime 10.4 LTS Photon, mogelijk gemaakt door Apache Spark 3.2.1. Photon bevindt zich in openbare preview. Databricks heeft deze afbeeldingen uitgebracht in maart 2022.

Notitie

LTS betekent dat deze versie op lange termijn wordt ondersteund. Zie de levenscyclus van de Databricks Runtime LTS-versie.

Nieuwe functies en verbeteringen

Iceberg naar Delta-tabelconversieprogramma (openbare preview)

Converteren naar Delta biedt nu ondersteuning voor het converteren van een Iceberg-tabel naar een Delta-tabel. Dit doet u met behulp van systeemeigen metagegevens en bestandsmanifesten van Iceberg. Zie Converteren naar Delta Lake.

Terugdraaien van automatische compressie is nu standaard ingeschakeld

Deze release verbetert het gedrag voor Delta Lake-schrijfbewerkingen die doorvoeren wanneer er gelijktijdige automatische compressietransacties zijn. Voordat deze release werd uitgebracht, zouden dergelijke schrijfbewerkingen vaak worden afgesloten vanwege gelijktijdige wijzigingen in een tabel. Schrijfbewerkingen slagen nu ook als er gelijktijdige automatische compressietransacties zijn.

Samenvoegen met lage willekeurige volgorde is nu standaard ingeschakeld

De MERGE INTO opdracht maakt nu altijd gebruik van de nieuwe implementatie met lage willekeurige volgorde. Dit gedrag verbetert de prestaties van de opdracht aanzienlijk voor de MERGE INTO meeste workloads. De configuratie-instelling die eerder is gebruikt om deze functie in te schakelen, is verwijderd. Zie Samenvoegen met lage willekeurige volgorde in Azure Databricks.

Invoegvolgordetags blijven nu behouden voor UPDATEs en DELETEs

De UPDATE en DELETE opdrachten behouden nu bestaande clusterinformatie (inclusief Z-volgorde) voor bestanden die worden bijgewerkt of verwijderd. Dit gedrag is een best-effort benadering en deze benadering is niet van toepassing op gevallen waarin bestanden zo klein zijn dat deze bestanden worden gecombineerd tijdens de update of verwijdering.

HikariCP is nu de standaard Hive-metastore-verbindingsgroep

HikariCP brengt veel stabiliteitsverbeteringen voor Hive-metastore-toegang met behoud van minder verbindingen in vergelijking met de vorige implementatie van de BoneCP-verbindingsgroep. HikariCP is standaard ingeschakeld voor elk Databricks Runtime-cluster dat gebruikmaakt van de Databricks Hive-metastore (bijvoorbeeld wanneer spark.sql.hive.metastore.jars deze niet is ingesteld). U kunt ook expliciet overschakelen naar andere implementaties van verbindingsgroepen, bijvoorbeeld BoneCP, door deze in te stellen spark.databricks.hive.metastore.client.pool.type.

Met de Azure Synapse-connector kan nu het maximum aantal toegestane weigeringsrijen worden ingesteld

De Azure Synapse-connector ondersteunt nu een maxErrors DataFrame-optie. Met deze update kunt u het maximum aantal geweigerde rijen configureren dat is toegestaan tijdens lees- en schrijfbewerkingen voordat de laadbewerking wordt geannuleerd. Alle geweigerde rijen worden genegeerd. Als er bijvoorbeeld twee van de tien records fouten bevatten, worden er slechts acht records verwerkt.

Deze optie wordt rechtstreeks toegewezen aan de optie voor de REJECT_VALUECREATE EXTERNAL TABLE instructie in PolyBase en aan de MAXERRORS optie voor de opdracht van COPY de Azure Synapse-connector.

maxErrors Standaard is de waarde ingesteld op0: alle records zijn naar verwachting geldig.

Asynchrone statuscontrolepunten zijn nu algemeen beschikbaar

U kunt asynchrone statuscontrolepunten inschakelen in stateful streamingquery's met grote statusupdates. Dit kan de end-to-end microbatchlatentie verminderen. Deze functie is nu algemeen beschikbaar. Zie controlepunten voor Asynchrone status voor stateful query's.

Standaardwaarden voor parameters kunnen nu worden opgegeven voor door de gebruiker gedefinieerde SQL-functies

Wanneer u een door de gebruiker gedefinieerde SQL-functie (SQL UDF) maakt, kunt u nu standaardexpressies opgeven voor de parameters van de SQL UDF. Vervolgens kunt u de SQL UDF aanroepen zonder argumenten voor deze parameters op te geven. Databricks vult de standaardwaarden voor deze parameters in. Zie CREATE FUNCTION (SQL en Python).

Nieuwe Spark SQL-functies

De volgende Spark SQL-functies zijn nu beschikbaar in deze release:

  • try_multiply: Retourneert multiplier vermenigvuldigd met multiplicandof NULL bij overloop.
  • try_subtract: retourneert de aftrekking van expr2expr1of NULL bij overloop.

Nieuwe werkmap voor clusters met hoge gelijktijdigheid

Op clusters met hoge gelijktijdigheid waarvoor toegangsbeheer voor tabellen of referentiepassthrough is ingeschakeld, is de huidige werkmap van notebooks nu de basismap van de gebruiker. Voorheen was /databricks/driverde werkmap .

Ondersteuning voor identiteitskolommen in Delta-tabellen is nu algemeen beschikbaar

Delta Lake ondersteunt nu identiteitskolommen. Wanneer u naar een Delta-tabel schrijft die een identiteitskolom definieert en u geen waarden voor die kolom opgeeft, wijst Delta nu automatisch een unieke en statistisch stijgende of afnemende waarde toe. Zie CREATE TABLE [USING].

Bibliotheekupgrades

  • Bijgewerkte Python-bibliotheken:
    • filelock van 3.4.2 tot 3.6.0
  • Bijgewerkte R-bibliotheken:
    • brew van 1.0-6 tot 1.0-7
    • bezem van 0.7.11 tot 0.7.12
    • cli van 3.1.0 tot 3.2.0
    • clipr van 0.7.1 tot 0.8.0
    • colorspace van 2.0-2 tot 2.0-3
    • krijt van 1.4.2 tot 1.5.0
    • dplyr van 1.0.7 tot 1.0.8
    • dtplyr van 1.2.0 tot 1.2.1
    • evalueren van 0,14 tot 0,15
    • foreach van 1.5.1 tot 1.5.2
    • toekomst van 1.23.0 tot 1.24.0
    • generics van 0.1.1 tot 0.1.2
    • lijm van 1.6.0 tot 1.6.1
    • gower van 0.2.2 tot 1.0.0
    • iterators van 1.0.13 tot 1.0.14
    • jsonlite van 1.7.3 tot 1.8.0
    • magrittr van 2.0.1 tot 2.0.2
    • mgcv van 1,8-38 tot 1,8-39
    • pijler van 1.6.4 tot 1.7.0
    • randomForest van 4.6-14 tot 4,7-1
    • leesbewerking van 2.1.1 tot 2.1.2
    • recepten van 0.1.17 tot 0.2.0
    • rlang van 0.4.12 tot 1.0.1
    • rpart van 4.1-15 tot 4.1.16
    • RSQLite van 2.2.9 tot 2.2.10
    • sparklyr van 1.7.4 tot 1.7.5
    • testthat van 3.1.1 tot 3.1.2
    • tidyr van 1.1.4 tot 1.2.0
    • tidyselect van 1.1.1 tot 1.1.2
    • tinytex van 0,36 tot 0,37
    • yaml van 2.2.1 tot 2.3.5
  • Bijgewerkte Java-bibliotheken:
    • io.delta.delta-sharing-spark_2.12 van 0.3.0 tot 0.4.0

Apache Spark

Databricks Runtime 10.4 LTS bevat Apache Spark 3.2.1. Deze release bevat alle Spark-oplossingen en -verbeteringen die zijn opgenomen in Databricks Runtime 10.3 (niet ondersteund) en de volgende aanvullende bugfixes en verbeteringen in Spark:

  • [SPARK-38322] [SQL] Ondersteuning voor queryfasen waarin runtimestatistieken worden weergegeven in de opgemaakte uitlegmodus
  • [SPARK-38162] [SQL] Eén rijplan optimaliseren in normaal en AQE Optimizer
  • [SPARK-38229] [SQL] Moet temp/external/ifNotExists met visitReplaceTable niet controleren wanneer parser
  • [SPARK-34183] [SS] DataSource V2: Vereiste distributie en volgorde in microbatchuitvoering
  • [SPARK-37932] [SQL] Wacht om ontbrekende kenmerken op te lossen voordat u DeduplicateRelations toepast
  • [SPARK-37904] [SQL] RebalancePartitions verbeteren in regels van Optimizer
  • [SPARK-38236] [SQL] [3.2] [3.1] Controleer of de tabellocatie absoluut is door 'new Path(locationUri).isAbsolute' in create/alter table
  • [SPARK-38035] [SQL] Docker-tests toevoegen voor het ingebouwde JDBC-dialect
  • [SPARK-38042] [SQL] Zorg ervoor dat ScalaReflection.dataTypeFor werkt op aliasmatrixtypen
  • [SPARK-38273] [SQL] decodeUnsafeRows' iterators moeten onderliggende invoerstromen sluiten
  • [SPARK-38311] [SQL] DynamicPartitionPruning/BucketedReadSuite/ExpressionInfoSuite opgelost in de ANSI-modus
  • [SPARK-38305] [CORE] Controleer expliciet of de bron bestaat in uitpakken() voordat u FileUtil-methoden aanroept
  • [SPARK-38275] [SS] Neem het geheugengebruik van writeBatch op als het totale geheugengebruik van rocksDB-statusopslag
  • [SPARK-38132] [SQL] Regel verwijderen NotPropagation
  • [SPARK-38286] [SQL] De maxRows en maxRowsPerPartition van Union kunnen overlopen
  • [SPARK-38306] [SQL] Fix ExplainSuite, StatisticsCollectionSuite en StringFunctionsSuite onder ANSI-modus
  • [SPARK-38281] [SQL] [Tests] AnalysisSuite herstellen in de ANSI-modus
  • [SPARK-38307] [SQL] [Tests] ExpressionTypeCheckingSuite en CollectionExpressionsSuite onder ANSI-modus herstellen
  • [SPARK-38300] [SQL] Gebruiken ByteStreams.toByteArray om te vereenvoudigen fileToString en resourceToBytes in catalyst.util
  • [SPARK-38304] [SQL] Elt() moet null retourneren als de index null is onder de ANSI-modus
  • [SPARK-38271] PoissonSampler kan meer rijen uitvoeren dan MaxRows
  • [SPARK-38297] [PYTHON] De retourwaarde expliciet casten op DataFrame.to_numpy in POS
  • [SPARK-38295] [SQL] [Tests] RekenkundigeExpressionSuite corrigeren onder ANSI-modus
  • [SPARK-38290] [SQL] JsonSuite en ParquetIOSuite herstellen in de ANSI-modus
  • [SPARK-38299] [SQL] Afgeschaft gebruik van StringBuilder.newBuilder
  • [SPARK-38060] [SQL] Respect allowNonNumericNumbers bij het parseren van naN- en Infinity-waarden in JSON-lezer
  • [SPARK-38276] [SQL] Goedgekeurde TPCDS-abonnementen toevoegen onder DE ANSI-modus
  • [SPARK-38206] [SS] Null-functionaliteit negeren bij het vergelijken van het gegevenstype joinsleutels bij stream-stream join
  • [SPARK-37290] [SQL] - Exponentiële planningstijd in geval van niet-deterministische functie
  • [SPARK-38232] [SQL] Uitleg over het verzamelen van subquery's onder de queryfase in AQE
  • [SPARK-38283] [SQL] Ongeldige parsering van datum/tijd testen onder ANSI-modus
  • [SPARK-38140] [SQL] Desc-kolomstatistieken (min, max) voor het tijdstempeltype zijn niet consistent met de waarden vanwege het verschil in de tijdzone
  • [SPARK-38227] [SQL] [SS] Strikte null-baarheid van geneste kolom toepassen in tijdvenster/sessievenster
  • [SPARK-38221] [SQL] Gretig herhalen over groupingExpressions bij het verplaatsen van complexe groeperingsexpressies uit een aggregatieknooppunt
  • [SPARK-38216] [SQL] Mislukken vroeg als alle kolommen gepartitioneerde kolommen zijn bij het maken van een Hive-tabel
  • [SPARK-38214] [SS] U hoeft vensters niet te filteren wanneer windowDuration meerdere diaDuration is
  • [SPARK-38182] [SQL] NoSuchElementException herstellen als het gepushte filter geen verwijzingen bevat
  • [SPARK-38159] [SQL] Een nieuw FileSourceMetadataAttribute toevoegen voor de metagegevens van verborgen bestanden
  • [SPARK-38123] [SQL] Geïntegreerd gebruik DataType vanaf targetTypeQueryExecutionErrors#castingCauseOverflowError
  • [SPARK-38118] [SQL] Func(verkeerd gegevenstype) in de HAVING-component moet gegevens niet-overeenkomende fout veroorzaken
  • [SPARK-35173] [SQL] [PYTHON] Meerdere kolommen toevoegen die ondersteuning toevoegen
  • [SPARK-38177] [SQL] Onjuiste transformExpressions in Optimizer corrigeren
  • [SPARK-38228] [SQL] Verouderde archieftoewijzing mag niet mislukken in de ANSI-modus
  • [SPARK-38173] [SQL] Kolom tussen aanhaals kan niet correct worden herkend wanneer de aan citeringRegexColumnNa...
  • [SPARK-38130] [SQL] Controle array_sort bestelbare items verwijderen
  • [SPARK-38199] [SQL] Verwijder de ongebruikte dataType opgegeven in de definitie van IntervalColumnAccessor
  • [SPARK-38203] [SQL] SQLInsertTestSuite en SchemaPruningSuite onder ANSI-modus herstellen
  • [SPARK-38163] [SQL] De foutklasse behouden van SparkThrowable tijdens het maken van de opbouwfunctie voor functies
  • [SPARK-38157] [SQL] ANSI expliciet instellen op false in test timestampNTZ/timestamp.sql en SQLQueryTestSuite zodat deze overeenkomen met de verwachte gouden resultaten
  • [SPARK-38069] [SQL] [SS] De berekening van het tijdvenster verbeteren
  • [SPARK-38164] [SQL] Nieuwe SQL-functies: try_subtract en try_multiply
  • [SPARK-38176] [SQL] ANSI-modus: impliciet cast-tekenreeks naar andere eenvoudige typen toestaan
  • [SPARK-37498] [PYTHON] Uiteindelijk toevoegen voor test_reuse_worker_of_parallelize_range
  • [SPARK-38198] [SQL] [3.2] Fix QueryExecution.debug#toFile use the passed in maxFields when explainMode is CodegenMode
  • [SPARK-38131] [SQL] Gebruik alleen foutklassen in gebruikersgerichte uitzonderingen
  • [SPARK-37652] [SQL] Test toevoegen voor het optimaliseren van scheve join via union
  • [SPARK-37585] [SQL] InputMetric bijwerken in DataSourceRDD met TaskCompletionListener
  • [SPARK-38113] [SQL] Foutklassen gebruiken in de uitvoeringsfouten bij het draaien
  • [SPARK-38178] [SS] Corrigeer de logica om het geheugengebruik van RocksDB te meten
  • [SPARK-37969] [SQL] HiveFileFormat moet de veldnaam controleren
  • [SPARK-37652] '[SQL]Test toevoegen voor het optimaliseren van scheve join via samenvoeging' herstellen
  • [SPARK-38124] [SQL] [SS] StatefulOpClusteredDistribution introduceren en toepassen op stream-stream join
  • [SPARK-38030] [SQL] Canonicalization mag de nullability van AttributeReference dataType niet verwijderen
  • [SPARK-37907] [SQL] InvokeLike support ConstantFolding
  • [SPARK-37891] [CORE] Scalastyle-controle toevoegen om scala.concurrent.ExecutionContext.Implicits.global uit te schakelen
  • [SPARK-38150] [SQL] Opmerking bijwerken van RelationConversions
  • [SPARK-37943] [SQL] Foutklassen gebruiken in de compilatiefouten van groeperen
  • [SPARK-37652] [SQL] Test toevoegen voor het optimaliseren van scheve join via union
  • [SPARK-38056] [Webgebruikersinterface] [3.2] Probleem opgelost waarbij gestructureerd streamen niet werkt in de geschiedenisserver bij gebruik van LevelDB
  • [SPARK-38144] [CORE] Ongebruikte spark.storage.safetyFraction configuratie verwijderen
  • [SPARK-38120] [SQL] HiveExternalCatalog.listPartitions opgelost wanneer de naam van de partitiekolom hoofdletters en punt in partitiewaarde is
  • [SPARK-38122] [Docs] De app-sleutel van DocSearch bijwerken
  • [SPARK-37479] [SQL] DROP NAMESPACE migreren om standaard V2-opdracht te gebruiken
  • [SPARK-35703] [SQL] Beperking voor bucketdeelname en hashClusteredDistribution verwijderen
  • [SPARK-37983] [SQL] Een back-up maken van metrische tijdgegevens van sortering
  • [SPARK-37915] [SQL] Samenvoegingen combineren als er een project tussen deze is
  • [SPARK-38105] [SQL] Foutklassen gebruiken in de parseringsfouten van joins
  • [SPARK-38073] [PYTHON] Atexit-functie bijwerken om problemen met late binding te voorkomen
  • [SPARK-37941] [SQL] Foutklassen gebruiken in de compilatiefouten van cast-conversie
  • [SPARK-37937] [SQL] Foutklassen gebruiken in de parseringsfouten van laterale join
  • [SPARK-38100] [SQL] Ongebruikte privémethode verwijderen in Decimal
  • [SPARK-37987] [SS] Een flaky test StreamingAggregationSuite.changing schema of state herstellen bij het opnieuw starten van de query
  • [SPARK-38003] [SQL] De regel LookupFunctions mag alleen functies opzoeken uit het scalaire functieregister
  • [SPARK-38075] [SQL] Oplossing hasNext in HiveScriptTransformationExecde procesuitvoer-iterator
  • [SPARK-37965] [SQL] Veldnaam controleren verwijderen bij het lezen/schrijven van bestaande gegevens in Orc
  • [SPARK-37922] [SQL] Combineren tot één cast als we veilig twee casts kunnen casten (voor dbr-branch-10.x)
  • [SPARK-37675] [SPARK-37793] Overschrijven van samengevoegde push-willekeurige bestanden voorkomen zodra de willekeurige volgorde is voltooid
  • [SPARK-38011] [SQL] Dubbele en nutteloze configuratie verwijderen in ParquetFileFormat
  • [SPARK-37929] [SQL] Ondersteuning voor trapsgewijze modus voor dropNamespace API
  • [SPARK-37931] [SQL] Citeer indien nodig de kolomnaam
  • [SPARK-37990] [SQL] Ondersteuning voor TimestampNTZ in RowToColumnConverter
  • [SPARK-38001] [SQL] Vervang de foutklassen met betrekking tot niet-ondersteunde functies door UNSUPPORTED_FEATURE
  • [SPARK-37839] [SQL] DS V2 ondersteunt gedeeltelijke push-down AVG
  • [SPARK-37878] [SQL] SHOW CREATE TABLE migreren om standaard v2-opdracht te gebruiken
  • [SPARK-37731] [SQL] Functiezoekactie herstructureren en opschonen in Analyzer
  • [SPARK-37979] [SQL] Overschakelen naar meer algemene foutklassen in AES-functies
  • [SPARK-37867] [SQL] Statistische functies van het ingebouwde JDBC-dialect compileren
  • [SPARK-38028] [SQL] Pijlvector beschikbaar maken vanuit ArrowColumnVector
  • [SPARK-30062] [SQL] De DIRECTE instructie toevoegen aan de DB2 dialect afgekapte implementatie
  • [SPARK-36649] [SQL] Ondersteuning Trigger.AvailableNow voor Kafka-gegevensbron
  • [SPARK-38018] [SQL] ColumnVectorUtils.populate corrigeren om CalendarIntervalType correct te verwerken
  • [SPARK-38023] [CORE] ExecutorMonitor.onExecutorRemoved moet worden verwerkt ExecutorDecommission als voltooid
  • [SPARK-38019] [CORE] Deterministisch maken ExecutorMonitor.timedOutExecutors
  • [SPARK-37957] [SQL] Deterministische vlag voor scalaire V2-functies correct doorgeven
  • [SPARK-37985] [SQL] Flaky test voor SPARK-37578 herstellen
  • [SPARK-37986] [SQL] Ondersteuning voor timestampNTZ in radix-sortering
  • [SPARK-37967] [SQL] Literal.create-ondersteuningsobjecttype
  • [SPARK-37827] [SQL] Plaats de enkele ingebouwde tabeleigenschappen in V1Table.propertie om aan te passen aan de V2-opdracht
  • [SPARK-37963] [SQL] Partitie-URI moet worden bijgewerkt na het wijzigen van de naam van de tabel in InMemoryCatalog
  • [SPARK-35442] [SQL] Ondersteuning voor het doorgeven van lege relaties via aggregaat/samenvoeging
  • [SPARK-37933] [SQL] De doorkruisingsmethode van V2ScanRelationPushDown-pushdown-regels wijzigen
  • [SPARK-37917] [SQL] Push down limit 1 voor rechterzijde van linker semi/anti join als join voorwaarde leeg is
  • [SPARK-37959] [ML] Corrigeer de UT van de controlenorm in KMeans & BiKMeans
  • [SPARK-37906] [SQL] spark-sql mag geen laatste opmerking doorgeven aan back-end
  • [SPARK-37627] [SQL] Gesorteerde kolom toevoegen in BucketTransform

Onderhoudsupdates

Zie updates voor databricks Runtime 10.4 LTS-onderhoud.

Systeemomgeving

  • Besturingssysteem: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.2
  • Delta Lake: 1.1.0

Geïnstalleerde Python-bibliotheken

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 argon2-cffi 20.1.0
async-generator 1,10 attrs 20.3.0 backcall 0.2.0
bidict 0.21.4 Bleekmiddel 3.3.0 boto3 1.16.7
botocore 1.19.7 certifi 2020.12.5 Cffi 1.14.5
Chardet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 Decorator 5.0.6 defusedxml 0.7.1
distlib 0.3.4 distro-info 0.23opgegeven1 invoerpunten 0,3
facets-overview 1.0.0 filelock 3.6.0 idna 2.10
ipykernel 5.3.4 Ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets 7.6.3 Jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
jupyter-client 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 kiwisolver 1.3.1 koala's 1.8.2
MarkupSafe 2.0.1 matplotlib 3.4.2 mistune 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 notebook 6.3.0 Numpy 1.20.1
Verpakking 20.9 Pandas 1.2.4 pandocfilters 1.4.3
parso 0.7.0 Patsy 0.5.1 Pexpect 4.8.0
pickleshare 0.7.5 Kussen 8.2.0 Pip 21.0.1
plotly 5.5.0 prometheus-client 0.10.1 prompt-toolkit 3.0.17
protobuf 3.17.2 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pycparser 2,20 Pygments 2.8.1
Pygobject 3.36.0 Pyparsing 2.4.7 pyrsistent 0.17.3
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 pyzmq 20.0.0
requests 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 Scipy 1.6.2 seaborn 0.11.1
Send2Trash 1.5.0 Setuptools 52.0.0 Zes 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 Vasthoudendheid 8.0.1
terminado 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
Tornado 6.1 traitlets 5.0.5 upgrades zonder toezicht 0,1
urllib3 1.25.11 Virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 Wiel 0.36.2 widgetsnbextension 3.5.1

Geïnstalleerde R-bibliotheken

R-bibliotheken worden geïnstalleerd vanuit de Microsoft CRAN-momentopname op 2022-02-24.

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
Askpass 1.1 assertthat 0.2.1 Backports 1.4.1
base 4.1.2 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.2 opstarten 1.3-28
Brouwsel 1.0-7 Brio 1.1.3 Bezem 0.7.12
bslib 0.3.1 cachem 1.0.6 beller 3.7.0
caret 6.0-90 cellranger 1.1.0 Chron 2.3-56
class 7.3-20 cli 3.2.0 clipr 0.8.0
cluster 2.1.2 Codetools 0.2-18 Colorspace 2.0-3
commonmark 1,7 Compiler 4.1.2 configuratie 0.3.1
cpp11 0.4.2 Crayon 1.5.0 aanmeldingsgegevens 1.3.2
curl 4.3.2 data.table 1.14.2 gegevenssets 4.1.2
DBI 1.1.2 dbplyr 2.1.1 Desc 1.4.0
Devtools 2.4.3 diffobj 0.3.5 Digest 0.6.29
dplyr 1.0.8 dtplyr 1.2.1 e1071 1.7-9
ellipsis 0.3.2 evaluate 0,15 fansi 1.0.2
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.2 Buitenlandse 0.8-82
Forge 0.2.0 Fs 1.5.2 Toekomst 1.24.0
future.apply 1.8.1 Gorgelen 1.2.0 Generics 0.1.2
Gert 1.5.0 ggplot2 3.3.5 Gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 Globals 0.14.0
Lijm 1.6.1 googledrive 2.0.0 googlesheets4 1.0.0
Gower 1.0.0 afbeeldingen 4.1.2 grDevices 4.1.2
Raster 4.1.2 gridExtra 2.3 gsubfn 0,7
gtable 0.3.0 hardhat 0.2.0 haven 2.4.3
highr 0,9 Hms 1.1.1 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.5 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ids 1.0.1
Ini 0.3.1 Ipred 0.9-12 isoband 0.2.5
Iterators 1.0.14 jquerylib 0.1.4 jsonlite 1.8.0
Kernsmooth 2.23-20 breiwerk 1,37 Labeling 0.4.2
Later 1.3.0 Lattice 0.20-45 lava 1.6.10
levenscyclus 1.0.1 listenv 0.8.0 lubridate 1.8.0
magrittr 2.0.2 Markdown 1.1 MASS 7.3-55
Matrix 1.4-0 memoise 2.0.1 methoden 4.1.2
Mgcv 1.8-39 Mime 0,12 ModelMetrics 1.2.2.2
modeller 0.1.8 munsell 0.5.0 Nlme 3.1-155
Nnet 7.3-17 numDeriv 2016.8-1.1 openssl 1.4.6
parallel 4.1.2 parallel 1.30.0 Pijler 1.7.0
pkgbuild 1.3.1 Pkgconfig 2.0.3 pkgload 1.2.4
plogr 0.2.0 plyr 1.8.6 Lof 1.0.0
prettyunits 1.1.1 Proc 1.18.0 processx 3.5.2
prodlim 2019.11.13 Voortgang 1.2.2 progressr 0.10.0
Beloften 1.2.0.1 Proto 1.0.0 Proxy 0.4-26
ps 1.6.0 Purrr 0.3.4 r2d3 0.2.5
R6 2.5.1 randomForest 4.7-1 rappdirs 0.3.3
rcmdcheck 1.4.0 Rcolorbrewer 1.1-2 Rcpp 1.0.8
RcppEigen 0.3.3.9.1 leesbewerking 2.1.2 readxl 1.3.1
recepten 0.2.0 Rematch 1.0.1 opnieuw overeenkomen2 2.1.2
Afstandsbedieningen 2.4.2 reprex 2.0.1 hervorm2 1.4.4
rlang 1.0.1 rmarkdown 2,11 RODBC 1.3-19
roxygen2 7.1.2 Rpart 4.1.16 rprojroot 2.0.2
Rserve 1.8-10 RSQLite 2.2.10 rstudioapi 0,13
rversions 2.1.1 rvest 1.0.2 Sass 0.4.0
Schalen 1.1.1 selectr 0.4-2 sessioninfo 1.2.2
Vorm 1.4.6 Glanzende 1.7.1 sourcetools 0.1.7
sparklyr 1.7.5 SparkR 3.2.0 Ruimtelijke 7.3-11
Splines 4.1.2 sqldf 0.4-11 SQUAREM 2021.1
Stats 4.1.2 stats4 4.1.2 stringi 1.7.6
stringr 1.4.0 Overleving 3.2-13 sys 3.4
Tcltk 4.1.2 TeachingDemos 2.10 testthat 3.1.2
tibble 3.1.6 tidyr 1.2.0 tidyselect 1.1.2
tidyverse 1.3.1 Timedate 3043.102 tinytex 0,37
tools 4.1.2 tzdb 0.2.0 usethis 2.1.5
utf8 1.2.2 utils 4.1.2 uuid 1.0-3
vctrs 0.3.8 viridisLite 0.4.0 Vroom 1.5.7
Waldo 0.3.1 whisker 0,4 withr 2.4.3
xfun 0,29 xml2 1.3.3 xopen 1.0.0
xtable 1.8-4 Yaml 2.3.5 Zip 2.2.0

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)

Groeps-id Artefact-id Versie
Antlr Antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics Stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-gearceerd 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Klasgenoot 1.3.4
com.fasterxml.jackson.core jackson-annotaties 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.3
com.github.ben-manes.cafeïne Cafeïne 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib kern 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava Guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft Jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuratie 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.netje.netlib Arpack 2.2.1
dev.netje.netlib Blas 2.2.1
dev.netje.netlib Lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics metrische gegevenskern 4.1.1
io.dropwizard.metrics metrische gegevensgrafiet 4.1.1
io.dropwizard.metrics metrische statuscontroles 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Collector 0.12.0
jakarta.annotatie jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activering 1.1.1
javax.annotatie javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction Jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
Jline Jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extra's 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-CSV 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr Stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow pijlnotatie 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow pijlvector 2.0.0
org.apache.avro Avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recepten 2.13.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.1-databricks
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-incubating
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy Ivy 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.12
org.apache.orc orc-mapreduce 1.6.12
org.apache.orc orc-shims 1.6.12
org.apache.parquet parquet-column 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet parquet-codering 1.12.0-databricks-0003
org.apache.parquet parquet-format-structuren 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-gearceerd 4.20
org.apache.yetus aantekeningen voor doelgroepen 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty jetty-vervolg 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty jetty-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty jetty-plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty jetty-security 9.4.43.v20210629
org.eclipse.jetty jetty-server 9.4.43.v20210629
org.eclipse.jetty jetty-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty jetty-util 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty jetty-webapp 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-api 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-client 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-common 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-server 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance opnieuw verpakt 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator sluimerstand-validator 6.1.0.Final
org.javassist Javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Aantekeningen 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap Shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark Ongebruikte 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani Xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel katten-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
Oro Oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1