Databricks Runtime 9.1 LTS

Artikel
09/03/2024

De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 9.1 LTS en Databricks Runtime 9.1 LTS Photon, mogelijk gemaakt door Apache Spark 3.1.2. Databricks heeft deze versie uitgebracht in september 2021. Photon bevindt zich in openbare preview.

Notitie

LTS betekent dat deze versie op lange termijn wordt ondersteund. Zie de levenscyclus van de Databricks Runtime LTS-versie.

Tip

Als u releaseopmerkingen voor Databricks Runtime-versies wilt zien die end-of-support (EoS) hebben bereikt, raadpleegt u de releaseopmerkingen voor Databricks Runtime. De EoS Databricks Runtime-versies zijn buiten gebruik gesteld en worden mogelijk niet bijgewerkt.

Nieuwe functies en verbeteringen

Schemahints voor automatisch laden werken nu met matrix- en kaarttypen
Avro-bestandsondersteuning voor samenvoegingsschema
Ondersteuning voor incrementele vermelding van automatische laadprogramma's (openbare preview)
Delta ondersteunt nu willekeurige replaceWhere
Auto Loader voor Google Cloud ondersteunt nu bestandsmeldingen (openbare preview)
CREATE FUNCTION biedt nu ondersteuning voor het maken van tabelfuncties
Kafka Streaming Source rapporteert estimatedTotalBytesBehindLatest nu metrische gegevens
Voor structs in matrices zet Delta MERGE INTO nu structvelden op naam en ontwikkelt structschema's

Schemahints voor automatisch laden werken nu met matrix- en kaarttypen

Matrix- en kaarttypen worden ondersteund in onderdrukkingsschemadeductie met schemahints voor automatisch laden.

Voorbeelden van schemahints voor matrices zijn:

arr Array<TYPE> wijzigt het matrixtype.
arr.element TYPE wijzigt het matrixtype (met behulp van het element trefwoord).
arr.element.x TYPE wijzigt een geneste veldtype in een matrix met structuren.

De eerste twee voorbeelden zijn hints om het type matrix arr te TYPEwijzigen in, maar ze gebruiken verschillende syntaxis. In het derde voorbeeld arr is een matrix van structuren met een veld x. In dit voorbeeld ziet u hoe u het type wijzigt x in TYPE.

Voorbeelden van schemahints voor kaarten zijn:

m Map<KEY-TYPE, VALUE-TYPE> wijzigt de kaartsleutel en waardetypen.
m.key TYPE wijzigt het type kaartsleutels.
m.value TYPE wijzigt het type kaartwaarden.
m.key.x TYPE wijzigt het veldtype in een kaartsleutel.
m.value.x TYPE wijzigt het veldtype van een kaartwaarde.

In het eerste voorbeeld worden zowel de sleutel- als waardetypen van de toewijzing m gewijzigd in KEY_TYPE respectievelijk VALUE_TYPE . De tweede en derde voorbeelden kunnen worden gebruikt als alleen het sleuteltype of alleen het waardetype moet worden gewijzigd. In de vierde en vijfde voorbeelden m is een kaart met sleutel en waarde van structuurtypen met een veld x. In dit voorbeeld ziet u hoe u het type wijzigt x in TYPE.

Avro-bestandsondersteuning voor samenvoegingsschema

De Avro-bestandsindeling ondersteunt nu de optie bij het mergeSchema lezen van bestanden. Als de instelling mergeSchema waar is bij het lezen van Avro-bestanden, wordt een schema afgeleid uit een set Avro-bestanden in plaats van uit één bestand. Dit verbetert de bruikbaarheid door een schema uit te stellen dat mogelijk alle bestanden kan lezen, zelfs als hun afzonderlijke schema's verschillen. Zie Configuratie.

Ondersteuning voor incrementele vermelding van automatische laadprogramma's (openbare preview)

In het geval van lexicografische gegenereerde bestanden, wat is Auto Loader? maakt nu gebruik van lexicale bestandsvolgorde en bestaande geoptimaliseerde API's om de directory-vermelding efficiënter te maken door vermelding van eerder opgenomen bestanden in plaats van door de hele map weer te geven. Automatisch laden detecteert automatisch of een bepaalde map standaard geschikt is voor incrementele vermeldingen. Als u dit gedrag expliciet wilt beheren, stelt u de nieuwe cloudFiles.useIncrementalListing optie in op (true), uit (false) of automatisch (auto). Als u dit gedrag trueinstelt op, kunt u ook de cloudFiles.backfillInterval optie instellen om regelmatige backfills over uw gegevens te plannen om ervoor te zorgen dat al uw gegevens volledig zijn opgenomen.

Delta ondersteunt nu willekeurige replaceWhere

In combinatie met de overschrijfmodus kan de replaceWhere optie worden gebruikt om gegevens tegelijk te overschrijven die overeenkomen met een predicaat dat in de optie is gedefinieerd. Voorheen werd replaceWhere een predicaat alleen ondersteund voor partitiekolommen, maar het kan nu een willekeurige expressie zijn. Zie Schrijven naar een tabel.

Auto Loader voor Google Cloud ondersteunt nu bestandsmeldingen (openbare preview)

Auto Loader ondersteunt nu de modus voor bestandsmeldingen in Google Cloud. Instellen .option("cloudFiles.useNotifications", "true") dat automatisch laden automatisch Google Cloud Pub/Sub-resources voor u kan instellen. Met de modus voor bestandsmeldingen worden nieuwe bestanden gedetecteerd en opgenomen wanneer ze binnenkomen zonder de invoermap weer te geven. Zie Wat is de meldingsmodus voor het automatisch laden van bestanden?

CREATE FUNCTION biedt nu ondersteuning voor het maken van tabelfuncties

Naast het maken van een scalaire functie die een scalaire waarde retourneert, kunt u nu een tabelfunctie maken die een set rijen retourneert. Zie CREATE FUNCTION (SQL en Python).

Kafka Streaming Source rapporteert `estimatedTotalBytesBehindLatest` nu metrische gegevens

De Kafka-streamingbron rapporteert nu een schatting van het aantal bytes achter de meest recente byte die beschikbaar is na elke batch. U kunt deze metrische waarde gebruiken om de voortgang van de stream bij te houden. Zie Metrische gegevens van Kafka ophalen.

Voorbeeld van metrische uitvoer:

StreamingQueryProgress {
  "batchId": 0,
  .....
  "sources": [ {
    "description" : "KafkaV2[Subscribe[topic-0]]",
    "metrics":{
      "avgOffsetsBehindLatest" : "1.0",
      "estimatedTotalBytesBehindLatest" : "80.0", // new
      "maxOffsetsBehindLatest" : "1",
      "minOffsetsBehindLatest" : "1"
    } ],
  ....
 }

Voor structs in matrices zet Delta MERGE INTO nu structvelden op naam en ontwikkelt structschema's

Delta MERGE INTO ondersteunt nu de resolutie van structvelden op naam en automatische schemaontwikkeling voor matrices van structs. Wanneer automatische schemaontwikkeling is ingeschakeld door deze in te stellen spark.databricks.delta.schema.autoMerge.enabled op waar, UPDATE en INSERT met componenten worden structvelden in een matrix op naam omgezet, wordt naar het overeenkomstige gegevenstype gecast dat is gedefinieerd in de doelmatrix en worden aanvullende of ontbrekende velden in de bron of het doel ingevuld met null-waarden. Wanneer automatische schemaontwikkeling is uitgeschakeld en INSERT met componenten worden structvelden in een matrix op naam omgezet, UPDATE maar kunnen de aanvullende velden niet verder worden ontwikkeld. Zie Delta Lake-tabelschema bijwerken.

Bugfixes

Er is een geheugenlek opgelost in de Amazon S3-connector die kan optreden in langlopende taken of services, die zijn veroorzaakt door de JVM-functionaliteit DeleteOnExit .

Bibliotheekupgrades

Bijgewerkte Python-bibliotheken:
- plotly from 4.14.3 to 5.1.0
Bijgewerkte R-bibliotheken:
- basis van 4.1.0 tot 4.1.1
- bslib van 0.2.5.1 tot 0.3.0
- cachem van 1.0.5 tot 1.0.6
- compiler van 4.1.0 tot 4.1.1
- gegevenssets van 4.1.0 tot 4.1.1
- toekomst van 1.21.0 tot 1.22.1
- gert van 1.3.1 tot 1.3.2
- afbeeldingen van 4.1.0 tot 4.1.1
- grDevices van 4.1.0 tot 4.1.1.1
- raster van 4.1.0 tot 4.1.1
Bijgewerkte Java-bibliotheken:
- org.eclipse.jetty van 9.4.36.v20210114 tot 9.4.42.v20210604

Apache Spark

Databricks Runtime 9.1 LTS bevat Apache Spark 3.1.2. Deze release bevat alle Spark-oplossingen en -verbeteringen die zijn opgenomen in Databricks Runtime 9.0 (EoS) en de volgende aanvullende bugfixes en verbeteringen in Spark:

[SPARK-36674][SQL][CHERRY-PICK] OndersteuningS-ILIKE - niet hoofdlettergevoelig LIKE
[SPARK-36353][SQL][3.1] RemoveNoopOperators moet het uitvoerschema behouden
[SPARK-35876][SQL][3.1] ArraysZip moet veldnamen behouden om te voorkomen dat ze opnieuw worden geschreven door analyzer/optimizer
[SPARK-36398][SQL] Gevoelige informatie redact in Spark Thrift Server-logboek
[SPARK-36498][SQL] Binnenste velden van de invoerquery in byName V2 opnieuw ordenen
[SPARK-36614][CORE][UI] Juiste reden voor uitvoerderverlies veroorzaakt door uit bedrijf nemen in de gebruikersinterface
[SPARK-36012][SQL] Null-vlag toevoegen in SHOW CREATE TABLE
[SPARK-36509][CORE] Los het probleem op dat uitvoerders nooit opnieuw worden gepland als de werkrol stopt met een zelfstandig cluster
[SPARK-36603][CORE] WeakReference niet SoftReference gebruiken in LevelDB
[SPARK-36564][CORE] NullPointerException in LiveRDDDistribution.toApi herstellen
[SPARK-36086][SQL][3.1] De alias CollapseProject project replace moet de oorspronkelijke kolomnaam gebruiken
[SPARK-33527][SQL] De functie van decoderen uitbreiden, zodat deze consistent is met basisdatabases
[SPARK-36400][SPARK-36398][SQL][WEBUI] ThriftServer herkennen spark.sql.redaction.string.regex
[SPARK-34054][CORE] BlockManagerDecommissioner-code opschonen
[SPARK-36500][CORE] Probleem oplossen temp_shuffle bestand lekken wanneer een taak wordt onderbroken
[SPARK-36489][SQL] Statistische functies zonder groeperingssleutels, op tabellen met één bucket, retourneren meerdere rijen
[SPARK-36464][CORE] Initialisatie van onderliggende groottevariabelen in ChunkedByteBufferOutputStream opgelost voor het schrijven van meer dan 2 GB gegevens
[SPARK-36339][SQL][3.0] Verwijzingen naar groepering die geen deel van de aggregatie moeten worden vervangen
[SPARK-36354][CORE] EventLogFileReader mag rolling logboekmappen zonder logboeken overslaan
[SPARK-36242][CORE][3.1] Ensure spill file closed before set success = true in ExternalSorter.spillMemoryIteratorToDisk method
[SPARK-36211][PYTHON] Correct typen van udf retourwaarde
[SPARK-34222][SQL] Booleaanse vereenvoudigingsregel verbeteren
[SPARK-35027][CORE] Sluit de inputStream in FileAppender wanneer deze wordt geschreven...
[SPARK-36269][SQL] Alleen gegevenskolommen instellen op configuratie van Hive-kolomnamen
[SPARK-36213][SQL] Normaliseer PartitionSpec voor de opdracht Tabel beschrijven met PartitionSpec
[SPARK-36210][SQL] De volgorde van kolominvoeging behouden in Dataset.withColumns
[SPARK-36079][SQL] Op null gebaseerde filterschatting moet altijd in het bereik [0, 1] staan
[SPARK-28266][SQL] convertToLogicalRelation mag eigenschap niet interpreteren path bij het lezen van Hive-tabellen

Onderhoudsupdates

Zie updates voor databricks Runtime 9.1 LTS-onderhoud.

Systeemomgeving

Besturingssysteem: Ubuntu 20.04.4 LTS
Java: Zulu 8.56.0.21-CA-linux64
Scala: 2.12.10
Python: 3.8.10
R: 4.1.1
Delta Lake: 1.0.0

Geïnstalleerde Python-bibliotheken

Bibliotheek	Versie	Bibliotheek	Versie	Bibliotheek	Versie
Antergos Linux	2015.10 (ISO-Rolling)	appdirs	1.4.4	backcall	0.2.0
boto3	1.16.7	botocore	1.19.7	certifi	2020.12.5
chardet	4.0.0	wielrijder	0.10.0	Cython	0.29.23
dbus-python	1.2.16	decorateur	5.0.6	distlib	0.3.2
distro-info	0.23opgegeven1	facets-overview	1.0.0	filelock	3.0.12
idna	2.10	ipykernel	5.3.4	ipython	7.22.0
ipython-genutils	0.2.0	jedi	0.17.2	jmespath	0.10.0
joblib	1.0.1	jupyter-client	6.1.12	jupyter-core	4.7.1
kiwisolver	1.3.1	koala's	1.8.1	matplotlib	3.4.2
numpy	1.19.2	Pandas	1.2.4	parso	0.7.0
Patsy	0.5.1	pexpect	4.8.0	pickleshare	0.7.5
Kussen	8.2.0	pit	21.0.1	plotly	5.1.0
prompt-toolkit	3.0.17	protobuf	3.17.2	psycopg2	2.8.5
ptyprocess	0.7.0	pyarrow	4.0.0	Pygments	2.8.1
PyGObject	3.36.0	pyparsing	2.4.7	python-apt	2.0.0+ubuntu0.20.4.5
python-dateutil	2.8.1	pytz	2020.5	pyzmq	20.0.0
requests	2.25.1	requests-unixsocket	0.2.0	s3transfer	0.3.7
scikit-learn	0.24.1	scipy	1.6.2	seaborn	0.11.1
setuptools	52.0.0	Zes	1.15.0	ssh-import-id	5.10
statsmodels	0.12.2	vasthoudendheid	8.0.1	threadpoolctl	2.1.0
tornado	6.1	traitlets	5.0.5	upgrades zonder toezicht	0,1
urllib3	1.25.11	virtualenv	20.4.1	wcwidth	0.2.5
wiel	0.36.2

Geïnstalleerde R-bibliotheken

R-bibliotheken worden geïnstalleerd vanuit de Microsoft CRAN-momentopname op 2021-09-08.

Bibliotheek	Versie	Bibliotheek	Versie	Bibliotheek	Versie
askpass	1.1	assertthat	0.2.1	backports	1.2.1
base	4.1.1	base64enc	0.1-3	bit	4.0.4
bit64	4.0.5	blob	1.2.2	opstarten	1.3-28
brouwsel	1.0-6	Brio	1.1.2	bezem	0.7.9
bslib	0.3.0	cachem	1.0.6	beller	3.7.0
caret	6.0-88	cellranger	1.1.0	Chron	2.3-56
class	7.3-19	cli	3.0.1	clipr	0.7.1
cluster	2.1.2	codetools	0.2-18	colorspace	2.0-2
commonmark	1,7	compiler	4.1.1	configuratie	0.3.1
cpp11	0.3.1	Crayon	1.4.1	aanmeldingsgegevens	1.3.1
curl	4.3.2	data.table	1.14.0	gegevenssets	4.1.1
DBI	1.1.1	dbplyr	2.1.1	Desc	1.3.0
devtools	2.4.2	diffobj	0.3.4	verteren	0.6.27
dplyr	1.0.7	dtplyr	1.1.0	beletselteken	0.3.2
evaluate	0,14	fansi	0.5.0	farver	2.1.0
fastmap	1.1.0	forcats	0.5.1	foreach	1.5.1
buitenlands	0.8-81	smeden	0.2.0	Fs	1.5.0
toekomst	1.22.1	future.apply	1.8.1	gorgelen	1.2.0
Generics	0.1.0	Gert	1.3.2	ggplot2	3.3.5
Gh	1.3.0	gitcreds	0.1.1	glmnet	4.1-2
globals	0.14.0	lijm	1.4.2	googledrive	2.0.0
googlesheets4	1.0.0	Gower	0.2.2	afbeeldingen	4.1.1
grDevices	4.1.1	rooster	4.1.1	gridExtra	2.3
gsubfn	0,7	gtable	0.3.0	haven	2.4.3
highr	0,9	Hms	1.1.0	htmltools	0.5.2
htmlwidgets	1.5.3	httpuv	1.6.2	httr	1.4.2
hwriter	1.3.2	hwriterPlus	1.0-3	ids	1.0.1
ini	0.3.1	ipred	0.9-11	isoband	0.2.5
Iterators	1.0.13	jquerylib	0.1.4	jsonlite	1.7.2
KernSmooth	2.23-20	breiwerk	1.33	Labeling	0.4.2
later	1.3.0	latwerk	0.20-44	lava	1.6.10
levenscyclus	1.0.0	listenv	0.8.0	lubridate	1.7.10
magrittr	2.0.1	Markdown	1.1	MASSA	7.3-54
Matrix	1.3-4	memoise	2.0.0	methoden	4.1.1
mgcv	1.8-36	Mime	0,11	ModelMetrics	1.2.2.2
modeller	0.1.8	munsell	0.5.0	nlme	3.1-152
nnet	7.3-16	numDeriv	2016.8-1.1	openssl	1.4.5
parallel	4.1.1	parallel	1.27.0	pilaar	1.6.2
pkgbuild	1.2.0	pkgconfig	2.0.3	pkgload	1.2.1
plogr	0.2.0	plyr	1.8.6	loven	1.0.0
prettyunits	1.1.1	Proc	1.18.0	processx	3.5.2
prodlim	2019.11.13	Voortgang	1.2.2	progressr	0.8.0
Beloften	1.2.0.1	Proto	1.0.0	ps	1.6.0
purrr	0.3.4	r2d3	0.2.5	R6	2.5.1
randomForest	4.6-14	rappdirs	0.3.3	rcmdcheck	1.3.3
RColorBrewer	1.1-2	Rcpp	1.0.7	leesbewerking	2.0.1
readxl	1.3.1	recepten	0.1.16	Rematch	1.0.1
opnieuw overeenkomen2	2.1.2	Afstandsbedieningen	2.4.0	reprex	2.0.1
hervorm2	1.4.4	rlang	0.4.11	rmarkdown	2.10
RODBC	1.3-18	roxygen2	7.1.1	rpart	4.1-15
rprojroot	2.0.2	Rserve	1.8-8	RSQLite	2.2.8
rstudioapi	0,13	rversions	2.1.1	rvest	1.0.1
Sass	0.4.0	weegschaal	1.1.1	selectr	0.4-2
sessioninfo	1.1.1	vorm	1.4.6	glanzend	1.6.0
sourcetools	0.1.7	sparklyr	1.7.1	SparkR	3.1.1
ruimtelijk	7.3-11	Splines	4.1.1	sqldf	0.4-11
SQUAREM	2021.1	Stats	4.1.1	stats4	4.1.1
stringi	1.7.4	stringr	1.4.0	overleving	3.2-13
sys	3.4	tcltk	4.1.1	TeachingDemos	2.10
testthat	3.0.4	tibble	3.1.4	tidyr	1.1.3
tidyselect	1.1.1	tidyverse	1.3.1	timeDate	3043.102
tinytex	0,33	tools	4.1.1	tzdb	0.1.2
usethis	2.0.1	utf8	1.2.2	utils	4.1.1
uuid	0.1-4	vctrs	0.3.8	viridisLite	0.4.0
Vroom	1.5.4	Waldo	0.3.0	snor	0,4
withr	2.4.2	xfun	0.25	xml2	1.3.2
xopen	1.0.0	xtable	1.8-4	yaml	2.2.1
ritssluiting	2.2.0

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)

Groeps-id	Artefact-id	Versie
antlr	antlr	2.7.7
com.amazonaws	amazon-kinesis-client	1.12.0
com.amazonaws	aws-java-sdk-autoscaling	1.11.655
com.amazonaws	aws-java-sdk-cloudformation	1.11.655
com.amazonaws	aws-java-sdk-cloudfront	1.11.655
com.amazonaws	aws-java-sdk-cloudhsm	1.11.655
com.amazonaws	aws-java-sdk-cloudsearch	1.11.655
com.amazonaws	aws-java-sdk-cloudtrail	1.11.655
com.amazonaws	aws-java-sdk-cloudwatch	1.11.655
com.amazonaws	aws-java-sdk-cloudwatchmetrics	1.11.655
com.amazonaws	aws-java-sdk-codedeploy	1.11.655
com.amazonaws	aws-java-sdk-cognitoidentity	1.11.655
com.amazonaws	aws-java-sdk-cognitosync	1.11.655
com.amazonaws	aws-java-sdk-config	1.11.655
com.amazonaws	aws-java-sdk-core	1.11.655
com.amazonaws	aws-java-sdk-datapipeline	1.11.655
com.amazonaws	aws-java-sdk-directconnect	1.11.655
com.amazonaws	aws-java-sdk-directory	1.11.655
com.amazonaws	aws-java-sdk-dynamodb	1.11.655
com.amazonaws	aws-java-sdk-ec2	1.11.655
com.amazonaws	aws-java-sdk-ecs	1.11.655
com.amazonaws	aws-java-sdk-efs	1.11.655
com.amazonaws	aws-java-sdk-elasticache	1.11.655
com.amazonaws	aws-java-sdk-elasticbeanstalk	1.11.655
com.amazonaws	aws-java-sdk-elasticloadbalancing	1.11.655
com.amazonaws	aws-java-sdk-elastictranscoder	1.11.655
com.amazonaws	aws-java-sdk-emr	1.11.655
com.amazonaws	aws-java-sdk-glacier	1.11.655
com.amazonaws	aws-java-sdk-glue	1.11.655
com.amazonaws	aws-java-sdk-iam	1.11.655
com.amazonaws	aws-java-sdk-importexport	1.11.655
com.amazonaws	aws-java-sdk-kinesis	1.11.655
com.amazonaws	aws-java-sdk-kms	1.11.655
com.amazonaws	aws-java-sdk-lambda	1.11.655
com.amazonaws	aws-java-sdk-logs	1.11.655
com.amazonaws	aws-java-sdk-machinelearning	1.11.655
com.amazonaws	aws-java-sdk-marketplacecommerceanalytics	1.11.655
com.amazonaws	aws-java-sdk-marketplacemeteringservice	1.11.655
com.amazonaws	aws-java-sdk-opsworks	1.11.655
com.amazonaws	aws-java-sdk-rds	1.11.655
com.amazonaws	aws-java-sdk-redshift	1.11.655
com.amazonaws	aws-java-sdk-route53	1.11.655
com.amazonaws	aws-java-sdk-s3	1.11.655
com.amazonaws	aws-java-sdk-ses	1.11.655
com.amazonaws	aws-java-sdk-simpledb	1.11.655
com.amazonaws	aws-java-sdk-simpleworkflow	1.11.655
com.amazonaws	aws-java-sdk-sns	1.11.655
com.amazonaws	aws-java-sdk-sqs	1.11.655
com.amazonaws	aws-java-sdk-ssm	1.11.655
com.amazonaws	aws-java-sdk-storagegateway	1.11.655
com.amazonaws	aws-java-sdk-sts	1.11.655
com.amazonaws	aws-java-sdk-support	1.11.655
com.amazonaws	aws-java-sdk-swf-libraries	1.11.22
com.amazonaws	aws-java-sdk-workspaces	1.11.655
com.amazonaws	jmespath-java	1.11.655
com.chuusai	shapeless_2.12	2.3.3
com.clearspring.analytics	stroom	2.9.6
com.databricks	Rserve	1.8-3
com.databricks	jets3t	0.7.1-0
com.databricks.scalapb	compilerplugin_2.12	0.4.15-10
com.databricks.scalapb	scalapb-runtime_2.12	0.4.15-10
com.esotericsoftware	kryo-gearceerd	4.0.2
com.esotericsoftware	minlog	1.3.0
com.fasterxml	klasgenoot	1.3.4
com.fasterxml.jackson.core	jackson-annotaties	2.10.0
com.fasterxml.jackson.core	jackson-core	2.10.0
com.fasterxml.jackson.core	jackson-databind	2.10.0
com.fasterxml.jackson.dataformat	jackson-dataformat-cbor	2.10.0
com.fasterxml.jackson.datatype	jackson-datatype-joda	2.10.0
com.fasterxml.jackson.module	jackson-module-paranamer	2.10.0
com.fasterxml.jackson.module	jackson-module-scala_2.12	2.10.0
com.github.ben-manes.cafeïne	cafeïne	2.3.4
com.github.fommil	jniloader	1.1
com.github.fommil.netlib	kern	1.1.2
com.github.fommil.netlib	native_ref-java	1.1
com.github.fommil.netlib	native_ref-java-natives	1.1
com.github.fommil.netlib	native_system-java	1.1
com.github.fommil.netlib	native_system-java-natives	1.1
com.github.fommil.netlib	netlib-native_ref-linux-x86_64-natives	1.1
com.github.fommil.netlib	netlib-native_system-linux-x86_64-natives	1.1
com.github.joshelser	dropwizard-metrics-hadoop-metrics2-reporter	0.1.2
com.github.luben	zstd-jni	1.4.8-1
com.github.wendykierp	JTransforms	3.1
com.google.code.findbugs	jsr305	3.0.0
com.google.code.gson	gson	2.2.4
com.google.crypto.tink	Tink	1.6.0
com.google.flatbuffers	flatbuffers-java	1.9.0
com.google.guava	guave	15.0
com.google.protobuf	protobuf-java	2.6.1
com.h2database	h2	1.4.195
com.helger	profiler	1.1.1
com.jcraft	jsch	0.1.50
com.jolbox	bonecp	0.8.0.RELEASE
com.lihaoyi	sourcecode_2.12	0.1.9
com.microsoft.azure	azure-data-lake-store-sdk	2.3.9
com.microsoft.sqlserver	mssql-jdbc	9.2.1.jre8
com.ning	compress-lzf	1.0.3
com.sun.mail	javax.mail	1.5.2
com.tdunning	json	1.8
com.thoughtworks.paranamer	paranamer	2.8
com.trueaccord.lenses	lenses_2.12	0.4.12
com.twitter	chill-java	0.9.5
com.twitter	chill_2.12	0.9.5
com.twitter	util-app_2.12	7.1.0
com.twitter	util-core_2.12	7.1.0
com.twitter	util-function_2.12	7.1.0
com.twitter	util-jvm_2.12	7.1.0
com.twitter	util-lint_2.12	7.1.0
com.twitter	util-registry_2.12	7.1.0
com.twitter	util-stats_2.12	7.1.0
com.typesafe	configuratie	1.2.1
com.typesafe.scala-logging	scala-logging_2.12	3.7.2
com.univocity	univocity-parsers	2.9.1
com.zaxxer	HikariCP	3.1.0
commons-beanutils	commons-beanutils	1.9.4
commons-cli	commons-cli	1.2
commons-codec	commons-codec	1,10
commons-collections	commons-collections	3.2.2
commons-configuratie	commons-configuratie	1.6
commons-dbcp	commons-dbcp	1.4
commons-digester	commons-digester	1.8
commons-fileupload	commons-fileupload	1.3.3
commons-httpclient	commons-httpclient	3.1
commons-io	commons-io	2.4
commons-lang	commons-lang	2.6
commons-logging	commons-logging	1.1.3
commons-net	commons-net	3.1
commons-pool	commons-pool	1.5.4
hive-2.3__hadoop-2.7	jets3t-0.7	liball_deps_2.12
hive-2.3__hadoop-2.7	zookeeper-3.4	liball_deps_2.12
info.ganglia.gmetric4j	gmetric4j	1.0.10
io.airlift	aircompressor	0.10
io.delta	delta-sharing-spark_2.12	0.1.0
io.dropwizard.metrics	metrische gegevenskern	4.1.1
io.dropwizard.metrics	metrische gegevensgrafiet	4.1.1
io.dropwizard.metrics	metrische statuscontroles	4.1.1
io.dropwizard.metrics	metrics-jetty9	4.1.1
io.dropwizard.metrics	metrics-jmx	4.1.1
io.dropwizard.metrics	metrics-json	4.1.1
io.dropwizard.metrics	metrics-jvm	4.1.1
io.dropwizard.metrics	metrics-servlets	4.1.1
io.netty	netty-all	4.1.51.Final
io.prometheus	simpleclient	0.7.0
io.prometheus	simpleclient_common	0.7.0
io.prometheus	simpleclient_dropwizard	0.7.0
io.prometheus	simpleclient_pushgateway	0.7.0
io.prometheus	simpleclient_servlet	0.7.0
io.prometheus.jmx	verzamelaar	0.12.0
jakarta.annotatie	jakarta.annotation-api	1.3.5
jakarta.validation	jakarta.validation-api	2.0.2
jakarta.ws.rs	jakarta.ws.rs-api	2.1.6
javax.activation	activering	1.1.1
javax.el	javax.el-api	2.2.4
javax.jdo	jdo-api	3.0.1
javax.servlet	javax.servlet-api	3.1.0
javax.servlet.jsp	jsp-api	2.1
javax.transaction	jta	1.1
javax.transaction	transaction-api	1.1
javax.xml.bind	jaxb-api	2.2.2
javax.xml.stream	stax-api	1.0-2
javolution	javolution	5.5.1
jline	jline	2.14.6
joda-time	joda-time	2.10.5
log4j	apache-log4j-extra's	1.2.17
log4j	log4j	1.2.17
maven-trees	hive-2.3__hadoop-2.7	liball_deps_2.12
net.java.dev.jna	jna	5.8.0
net.razorvine	pyrolite	4.30
net.sf.jpam	jpam	1.1
net.sf.opencsv	opencsv	2.3
net.sf.supercsv	super-CSV	2.2.0
net.snowflake	snowflake-ingest-sdk	0.9.6
net.snowflake	snowflake-jdbc	3.13.3
net.snowflake	spark-snowflake_2.12	2.9.0-spark_3.1
net.sourceforge.f2j	arpack_combined_all	0,1
org.acplt.remotetea	remotetea-oncrpc	1.1.2
org.antlr	ST4	4.0.4
org.antlr	antlr-runtime	3.5.2
org.antlr	antlr4-runtime	4.8-1
org.antlr	tekenreekstemplate	3.2.1
org.apache.ant	ant	1.9.2
org.apache.ant	ant-jsch	1.9.2
org.apache.ant	ant-launcher	1.9.2
org.apache.arrow	pijlnotatie	2.0.0
org.apache.arrow	arrow-memory-core	2.0.0
org.apache.arrow	arrow-memory-netty	2.0.0
org.apache.arrow	pijlvector	2.0.0
org.apache.avro	avro	1.8.2
org.apache.avro	avro-ipc	1.8.2
org.apache.avro	avro-mapred-hadoop2	1.8.2
org.apache.commons	commons-compress	1,20
org.apache.commons	commons-crypto	1.1.0
org.apache.commons	commons-lang3	3.10
org.apache.commons	commons-math3	3.4.1
org.apache.commons	commons-text	1.6
org.apache.curator	curator-client	2.7.1
org.apache.curator	curator-framework	2.7.1
org.apache.curator	curator-recepten	2.7.1
org.apache.derby	Derby	10.12.1.1
org.apache.directory.api	api-asn1-api	1.0.0-M20
org.apache.directory.api	api-util	1.0.0-M20
org.apache.directory.server	apacheds-i18n	2.0.0-M15
org.apache.directory.server	apacheds-kerberos-codec	2.0.0-M15
org.apache.hadoop	hadoop-aantekeningen	2.7.4
org.apache.hadoop	hadoop-auth	2.7.4
org.apache.hadoop	hadoop-client	2.7.4
org.apache.hadoop	hadoop-common	2.7.4
org.apache.hadoop	hadoop-hdfs	2.7.4
org.apache.hadoop	hadoop-mapreduce-client-app	2.7.4
org.apache.hadoop	hadoop-mapreduce-client-common	2.7.4
org.apache.hadoop	hadoop-mapreduce-client-core	2.7.4
org.apache.hadoop	hadoop-mapreduce-client-jobclient	2.7.4
org.apache.hadoop	hadoop-mapreduce-client-shuffle	2.7.4
org.apache.hadoop	hadoop-yarn-api	2.7.4
org.apache.hadoop	hadoop-yarn-client	2.7.4
org.apache.hadoop	hadoop-yarn-common	2.7.4
org.apache.hadoop	hadoop-yarn-server-common	2.7.4
org.apache.hive	hive-beeline	2.3.7
org.apache.hive	hive-cli	2.3.7
org.apache.hive	hive-jdbc	2.3.7
org.apache.hive	hive-llap-client	2.3.7
org.apache.hive	hive-llap-common	2.3.7
org.apache.hive	hive-serde	2.3.7
org.apache.hive	hive-shims	2.3.7
org.apache.hive	hive-storage-api	2.7.2
org.apache.hive.shims	hive-shims-0.23	2.3.7
org.apache.hive.shims	hive-shims-common	2.3.7
org.apache.hive.shims	hive-shims-scheduler	2.3.7
org.apache.htrace	htrace-core	3.1.0-incubating
org.apache.httpcomponents	httpclient	4.5.6
org.apache.httpcomponents	httpcore	4.4.12
org.apache.ivy	klimop	2.4.0
org.apache.mesos	mesos-shaded-protobuf	1.4.0
org.apache.orc	orc-core	1.5.12
org.apache.orc	orc-mapreduce	1.5.12
org.apache.orc	orc-shims	1.5.12
org.apache.parquet	parquet-column	1.10.1-databricks9
org.apache.parquet	parquet-common	1.10.1-databricks9
org.apache.parquet	parquet-codering	1.10.1-databricks9
org.apache.parquet	parquet-indeling	2.4.0
org.apache.parquet	parquet-hadoop	1.10.1-databricks9
org.apache.parquet	parquet-jackson	1.10.1-databricks9
org.apache.thrift	libfb303	0.9.3
org.apache.thrift	libthrift	0.12.0
org.apache.xbean	xbean-asm7-gearceerd	4.15
org.apache.yetus	aantekeningen voor doelgroepen	0.5.0
org.apache.zookeeper	zookeeper	3.4.14
org.codehaus.jackson	jackson-core-asl	1.9.13
org.codehaus.jackson	jackson-jaxrs	1.9.13
org.codehaus.jackson	jackson-mapper-asl	1.9.13
org.codehaus.jackson	jackson-xc	1.9.13
org.codehaus.janino	commons-compiler	3.0.16
org.codehaus.janino	janino	3.0.16
org.datanucleus	datanucleus-api-jdo	4.2.4
org.datanucleus	datanucleus-core	4.1.17
org.datanucleus	datanucleus-rdbms	4.1.19
org.datanucleus	javax.jdo	3.2.0-m3
org.eclipse.jetty	jetty-client	9.4.42.v20210604
org.eclipse.jetty	jetty-vervolg	9.4.42.v20210604
org.eclipse.jetty	jetty-http	9.4.42.v20210604
org.eclipse.jetty	jetty-io	9.4.42.v20210604
org.eclipse.jetty	jetty-jndi	9.4.42.v20210604
org.eclipse.jetty	jetty-plus	9.4.42.v20210604
org.eclipse.jetty	jetty-proxy	9.4.42.v20210604
org.eclipse.jetty	jetty-security	9.4.42.v20210604
org.eclipse.jetty	jetty-server	9.4.42.v20210604
org.eclipse.jetty	jetty-servlet	9.4.42.v20210604
org.eclipse.jetty	jetty-servlets	9.4.42.v20210604
org.eclipse.jetty	jetty-util	9.4.42.v20210604
org.eclipse.jetty	jetty-util-ajax	9.4.42.v20210604
org.eclipse.jetty	jetty-webapp	9.4.42.v20210604
org.eclipse.jetty	jetty-xml	9.4.42.v20210604
org.eclipse.jetty.websocket	websocket-api	9.4.42.v20210604
org.eclipse.jetty.websocket	websocket-client	9.4.42.v20210604
org.eclipse.jetty.websocket	websocket-common	9.4.42.v20210604
org.eclipse.jetty.websocket	websocket-server	9.4.42.v20210604
org.eclipse.jetty.websocket	websocket-servlet	9.4.42.v20210604
org.fusesource.leveldbjni	leveldbjni-all	1.8
org.glassfish.hk2	hk2-api	2.6.1
org.glassfish.hk2	hk2-locator	2.6.1
org.glassfish.hk2	hk2-utils	2.6.1
org.glassfish.hk2	osgi-resource-locator	1.0.3
org.glassfish.hk2.external	aopalliance opnieuw verpakt	2.6.1
org.glassfish.hk2.external	jakarta.inject	2.6.1
org.glassfish.jersey.containers	jersey-container-servlet	2.30
org.glassfish.jersey.containers	jersey-container-servlet-core	2.30
org.glassfish.jersey.core	jersey-client	2.30
org.glassfish.jersey.core	jersey-common	2.30
org.glassfish.jersey.core	jersey-server	2.30
org.glassfish.jersey.inject	jersey-hk2	2.30
org.glassfish.jersey.media	jersey-media-jaxb	2.30
org.hibernate.validator	sluimerstand-validator	6.1.0.Final
org.javassist	javassist	3.25.0-GA
org.jboss.logging	jboss-logging	3.3.2.Final
org.jdbi	jdbi	2.63.1
org.joda	joda-convert	1,7
org.jodd	jodd-core	3.5.2
org.json4s	json4s-ast_2.12	3.7.0-M5
org.json4s	json4s-core_2.12	3.7.0-M5
org.json4s	json4s-jackson_2.12	3.7.0-M5
org.json4s	json4s-scalap_2.12	3.7.0-M5
org.lz4	lz4-java	1.7.1
org.mariadb.jdbc	mariadb-java-client	2.2.5
org.objenesis	objenesis	2.5.1
org.postgresql	postgresql	42.1.4
org.roaringbitmap	RoaringBitmap	0.9.14
org.roaringbitmap	Shims	0.9.14
org.rocksdb	rocksdbjni	6.20.3
org.rosuda.REngine	REngine	2.1.0
org.scala-lang	scala-compiler_2.12	2.12.10
org.scala-lang	scala-library_2.12	2.12.10
org.scala-lang	scala-reflect_2.12	2.12.10
org.scala-lang.modules	scala-collection-compat_2.12	2.1.1
org.scala-lang.modules	scala-parser-combinators_2.12	1.1.2
org.scala-lang.modules	scala-xml_2.12	1.2.0
org.scala-sbt	test-interface	1.0
org.scalacheck	scalacheck_2.12	1.14.2
org.scalactic	scalactic_2.12	3.0.8
org.scalanlp	breeze-macros_2.12	1.0
org.scalanlp	breeze_2.12	1.0
org.scalatest	scalatest_2.12	3.0.8
org.slf4j	jcl-over-slf4j	1.7.30
org.slf4j	jul-to-slf4j	1.7.30
org.slf4j	slf4j-api	1.7.30
org.slf4j	slf4j-log4j12	1.7.30
org.spark-project.spark	ongebruikt	1.0.0
org.springframework	spring-core	4.1.4.RELEASE
org.springframework	spring-test	4.1.4.RELEASE
org.threeten	threeten-extra	1.5.0
org.tukaani	xz	1.5
org.typelevel	algebra_2.12	2.0.0-M2
org.typelevel	katten-kernel_2.12	2.0.0-M4
org.typelevel	machinist_2.12	0.6.8
org.typelevel	macro-compat_2.12	1.1.1
org.typelevel	spire-macros_2.12	0.17.0-M1
org.typelevel	spire-platform_2.12	0.17.0-M1
org.typelevel	spire-util_2.12	0.17.0-M1
org.typelevel	spire_2.12	0.17.0-M1
org.wildfly.openssl	wildfly-openssl	1.0.7.Final
org.xerial	sqlite-jdbc	3.8.11.2
org.xerial.snappy	snappy-java	1.1.8.2
org.yaml	snakeyaml	1,24
oro	oro	2.0.8
pl.edu.icm	JLargeArrays	1.5
software.amazon.ion	ion-java	1.0.2
stax	stax-api	1.0.1
xmlenc	xmlenc	0,52

Delen via

Databricks Runtime 9.1 LTS

Nieuwe functies en verbeteringen

Schemahints voor automatisch laden werken nu met matrix- en kaarttypen

Avro-bestandsondersteuning voor samenvoegingsschema

Ondersteuning voor incrementele vermelding van automatische laadprogramma's (openbare preview)

Delta ondersteunt nu willekeurige replaceWhere

Auto Loader voor Google Cloud ondersteunt nu bestandsmeldingen (openbare preview)

CREATE FUNCTION biedt nu ondersteuning voor het maken van tabelfuncties

Kafka Streaming Source rapporteert `estimatedTotalBytesBehindLatest` nu metrische gegevens

Voor structs in matrices zet Delta MERGE INTO nu structvelden op naam en ontwikkelt structschema's

Bugfixes

Bibliotheekupgrades

Apache Spark

Onderhoudsupdates

Systeemomgeving

Geïnstalleerde Python-bibliotheken

Geïnstalleerde R-bibliotheken

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)

Feedback

Aanvullende resources

Delen via

Databricks Runtime 9.1 LTS

Nieuwe functies en verbeteringen

Schemahints voor automatisch laden werken nu met matrix- en kaarttypen

Avro-bestandsondersteuning voor samenvoegingsschema

Ondersteuning voor incrementele vermelding van automatische laadprogramma's (openbare preview)

Delta ondersteunt nu willekeurige replaceWhere

Auto Loader voor Google Cloud ondersteunt nu bestandsmeldingen (openbare preview)

CREATE FUNCTION biedt nu ondersteuning voor het maken van tabelfuncties

Kafka Streaming Source rapporteert estimatedTotalBytesBehindLatest nu metrische gegevens

Voor structs in matrices zet Delta MERGE INTO nu structvelden op naam en ontwikkelt structschema's

Bugfixes

Bibliotheekupgrades

Apache Spark

Onderhoudsupdates

Systeemomgeving

Geïnstalleerde Python-bibliotheken

Geïnstalleerde R-bibliotheken

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)

Feedback

Aanvullende resources

Kafka Streaming Source rapporteert `estimatedTotalBytesBehindLatest` nu metrische gegevens