Databricks Runtime 9.1 LTS

Cikk
09/03/2024

A következő kibocsátási megjegyzések az Apache Spark 3.1.2 által működtetett Databricks Runtime 9.1 LTS-ről és a Databricks Runtime 9.1 LTS Photon-ről nyújtanak információkat. A Databricks 2021 szeptemberében adta ki ezt a verziót. A Photon nyilvános előzetes verzióban érhető el.

Feljegyzés

Az LTS azt jelenti, hogy ez a verzió hosszú távú támogatás alatt áll. Lásd: Databricks Runtime LTS-verzió életciklusa.

Tipp.

A támogatás megszűnését (EoS) elérő Databricks Runtime-verziók kibocsátási megjegyzéseit a databricks runtime kiadási megjegyzéseiben találhatja meg. Az EoS Databricks Runtime-verziók ki lettek állítva, és előfordulhat, hogy nem frissülnek.

Új funkciók és fejlesztések

Az automatikus betöltő sématippjei mostantól tömb- és térképtípusokkal működnek
Az egyesítési séma Avro-fájltámogatása
Automatikus betöltő növekményes lista támogatása (nyilvános előzetes verzió)
A Delta mostantól támogatja az tetszőleges helycserét
A Google Cloud automatikus betöltője mostantól támogatja a fájlértesítéseket (nyilvános előzetes verzió)
A CREATE FÜGGVÉNY mostantól támogatja a táblafüggvények létrehozását
A Kafka Streaming Source mostantól metrikát jelent estimatedTotalBytesBehindLatest
A tömbökön belüli szerkezetek esetében a Delta MERGE INTO mostantól név alapján oldja fel a strukturálási mezőket, és átalakítja a strukturálási sémákat

Az automatikus betöltő sématippjei mostantól tömb- és térképtípusokkal működnek

A tömb- és térképtípusok támogatottak a sémakövető sémakövetkeztetésben az automatikus betöltő sématippeivel .

Példák a tömbök sématippjeire:

arr Array<TYPE> módosítja a tömb típusát.
arr.element TYPE módosítja a tömb típusát (a element kulcsszó használatával).
arr.element.x TYPE egy beágyazott mezőtípust módosít egy struktúratömbben.

Az első két példa a tömb arr típusának módosítására TYPEszolgáló tippek, de más szintaxist használnak. A harmadik példában arr egy mezővel xrendelkező struktúrák tömbje látható. Ez a példa bemutatja, hogyan módosíthatja a típust x TYPE.

A térképekhez használható sématippek például a következők:

m Map<KEY-TYPE, VALUE-TYPE> módosítja a leképezési kulcsot és az értéktípusokat.
m.key TYPE módosítja a térképkulcsok típusát.
m.value TYPE módosítja a térképértékek típusát.
m.key.x TYPE módosítja a mezőtípust egy térképkulcsban.
m.value.x TYPE módosítja a leképezési érték mezőtípusát.

Az első példa a leképezés m KEY_TYPE VALUE_TYPE kulcs- és értéktípusait is megváltoztatja. A második és a harmadik példa akkor használható, ha csak a kulcstípust vagy csak az értéktípust kell módosítani. A negyedik és ötödik példában egy olyan térkép, m amely egy mezővel xrendelkező struktúratípusok kulcsával és értékével rendelkezik. Ez a példa bemutatja, hogyan módosíthatja a típust x TYPE.

Az egyesítési séma Avro-fájltámogatása

Az Avro fájlformátum mostantól támogatja a mergeSchema fájlolvasást. Ha igaz értékre állítja mergeSchema az Avro-fájlok olvasását, akkor a séma nem egyetlen fájlból, hanem Avro-fájlok készletéből következtet. Ez javítja a használhatóságot egy olyan séma következtetésével, amely akkor is képes lehet az összes fájl olvasására, ha az egyes sémák eltérnek. Lásd: Konfiguráció.

Automatikus betöltő növekményes lista támogatása (nyilvános előzetes verzió)

A lexikálisan létrehozott fájlok esetében a Mi az automatikus betöltő? mostantól a lexikális fájlrendezést és a meglévő optimalizált API-kat használja, hogy hatékonyabbá tegye a címtárak listáját a korábban betöltött fájlok listázásával, nem pedig a teljes könyvtár listázásával. Az Automatikus betöltő automatikusan észleli, hogy egy adott könyvtár alapértelmezés szerint alkalmas-e növekményes felsorolásra. Ha explicit módon szeretné szabályozni ezt a viselkedést, állítsa be (true), ki (false) vagy automatikus (auto) beállításra az új cloudFiles.useIncrementalListing beállítást. Ha ezt a viselkedést trueállítja be, beállíthatja azt cloudFiles.backfillInterval is, hogy rendszeres visszatöltéseket ütemezzen az adatokra, hogy az összes adat teljesen be legyen töltve.

A Delta mostantól támogatja az tetszőleges helycserét

Felülírási móddal kombinálva a replaceWhere beállítással egyidejűleg felülírhatja azokat az adatokat, amelyek megegyeznek a beállításban definiált predikátummal. replaceWhere Korábban egy predikátum csak partícióoszlopok felett támogatott, de most már tetszőleges kifejezés lehet. Lásd: Írás táblába.

A Google Cloud automatikus betöltője mostantól támogatja a fájlértesítéseket (nyilvános előzetes verzió)

Az Automatikus betöltő mostantól támogatja a fájlértesítési módot a Google Cloudban. Állítsa be .option("cloudFiles.useNotifications", "true") úgy, hogy az Automatikus betöltő automatikusan beállítsa a Google Cloud Pub/Alerőforrásokat. A fájlértesítési módban a rendszer a bemeneti könyvtár felsorolása nélkül észleli és betölti az új fájlokat. Lásd: Mi az automatikus betöltő fájlértesítési módja?

A CREATE FÜGGVÉNY mostantól támogatja a táblafüggvények létrehozását

A skaláris értéket visszaadó skaláris függvények létrehozása mellett létrehozhat egy táblafüggvényt is, amely sorokat ad vissza. Lásd: CREATE FÜGGVÉNY (SQL és Python).

A Kafka Streaming Source mostantól metrikát jelent `estimatedTotalBytesBehindLatest`

A Kafka streamforrás most egy becslést készít arról, hogy a fogyasztó hány bájttal áll a legújabb elérhető bájt mögött minden köteg után. Ezzel a metrikával nyomon követheti a stream előrehaladását. Lásd: Kafka-metrikák lekérése.

Példa metrikakimenetre:

StreamingQueryProgress {
  "batchId": 0,
  .....
  "sources": [ {
    "description" : "KafkaV2[Subscribe[topic-0]]",
    "metrics":{
      "avgOffsetsBehindLatest" : "1.0",
      "estimatedTotalBytesBehindLatest" : "80.0", // new
      "maxOffsetsBehindLatest" : "1",
      "minOffsetsBehindLatest" : "1"
    } ],
  ....
 }

A tömbökön belüli szerkezetek esetében a Delta MERGE INTO mostantól név alapján oldja fel a strukturálási mezőket, és átalakítja a strukturálási sémákat

A Delta MERGE INTO mostantól támogatja a strukturált mezők név szerinti felbontását és az automatikus sémafejlődést a szerkezettömbök esetében. Ha az automatikus sémafejlődés true (igaz) beállítással spark.databricks.delta.schema.autoMerge.enabled engedélyezve van, UPDATE és INSERT a záradékok név alapján feloldják a tömbön belüli strukturált mezőket, a céltömbben definiált megfelelő adattípusra kerülnek, és null értékekkel töltik ki a forrásban vagy a célban lévő további vagy hiányzó mezőket. Ha az automatikus sémafejlődés le van tiltva, UPDATE és INSERT a záradékok név alapján feloldják a tömbön belüli strukturált mezőket, de nem lesznek képesek a további mezők továbbfejlesztésére. Lásd: Delta Lake táblaséma frissítése.

Hibajavítások

Kijavítottunk egy memóriaszivárgást az Amazon S3-összekötőben, amely hosszú ideig futó feladatokban vagy szolgáltatásokban fordulhatott elő, amelyet a JVM-funkciók DeleteOnExit okoztak.

Könyvtárfrissítések

Frissített Python-kódtárak:
- ábrázolás a 4.14.3-tól az 5.1.0-sig
Frissített R-kódtárak:
- alap: 4.1.0–4.1.1
- bslib 0.2.5.1-től 0.3.0-ra
- gyorsítótár 1.0.5-től 1.0.6-osig
- fordító 4.1.0 és 4.1.1 között
- 4.1.0 és 4.1.1 közötti adatkészletek
- 1.21.0 és 1.22.1 között
- gert 1.3.1 és 1.3.2 között
- 4.1.0 és 4.1.1 közötti grafikus elemek
- grDevices 4.1.0 és 4.1.1 között
- rács 4.1.0 és 4.1.1 között
Frissített Java-kódtárak:
- org.eclipse.jetty 9.4.36.v20210114-ről 9.4.42.v20210604-ra

Apache Spark

A Databricks Runtime 9.1 LTS tartalmazza az Apache Spark 3.1.2-t. Ez a kiadás tartalmazza a Databricks Runtime 9.0 (EoS) összes Spark-javítását és fejlesztését, valamint a Spark következő további hibajavításait és fejlesztéseit:

[SPARK-36674][SQL][CSERESZNYE-PICK] ILIKE támogatása – kis- és nagybetűk megkülönböztetése
[SPARK-36353][SQL][3.1] A RemoveNoopOperatorsnak meg kell őriznie a kimeneti sémát
[SPARK-35876][SQL][3.1] A ArraysZip-nek meg kell őriznie a mezőneveket, hogy elkerülje az elemző/optimalizáló újraírását
[SPARK-36398][SQL] Bizalmas adatok újbóli megadása a Spark Thrift Server naplójában
[SPARK-36498][SQL] A bemeneti lekérdezés belső mezőinek átrendezése a byName V2 írásban
[SPARK-36614][CORE][Felhasználói felület] A felhasználói felületen történő leszerelés által okozott végrehajtói veszteség okának javítása
[SPARK-36012][SQL] Null jelölő hozzáadása a CREATE TABLE megjelenítése nézetben
[SPARK-36509][CORE] Kijavítottuk azt a hibát, amely miatt a végrehajtók soha nem lesznek újra ütemezve, ha a feldolgozó önálló fürttel áll le
[SPARK-36603][CORE] A WeakReference és a SoftReference használata a LevelDB-ben
[SPARK-36564][CORE] NullPointerException javítása a LiveRDDDistribution.toApi alkalmazásban
[SPARK-36086][SQL][3.1] A CollapseProject projekt csere aliasának forrásoszlop nevét kell használnia
[SPARK-33527][SQL] A dekódolás funkciójának kiterjesztése az általános adatbázisokkal való konzisztens módon
[SPARK-36400][SPARK-36398][SQL][WEBUI] A ThriftServer felismerése spark.sql.redaction.string.regex
[SPARK-34054][CORE] BlockManagerDecommissioner kód törlése
[SPARK-36500][CORE] A feladat megszakításakor temp_shuffle fájlszivárgás javítása
[SPARK-36489][SQL] Összesítő függvények csoportosítási kulcsok nélkül, egyetlen gyűjtővel rendelkező táblákban több sort ad vissza
[SPARK-36464][CORE] Az alapul szolgáló méretváltozó inicializálásának javítása a ChunkedByteBufferOutputStreamben 2 GB-os adatok írásához
[SPARK-36339][SQL][3.0] Az összesítés részét nem képező csoportosításra mutató hivatkozásokat fel kell cserélni
[SPARK-36354][CORE] Az EventLogFileReadernek ki kell hagynia a naplók nélküli gördülő eseménynapló-könyvtárakat
[SPARK-36242][CORE][3.1] A sikeresség beállítása előtt győződjön meg arról, hogy a kiömlött fájl bezárva van = igaz az ExternalSorter.spillMemoryIteratorToDisk metódusban
[SPARK-36211][PYTHON] A visszatérési érték helyes beírása udf
[SPARK-34222][SQL] Logikai egyszerűsítési szabály továbbfejlesztése
[SPARK-35027][CORE] Zárja be az inputStreamet a FileAppenderben, amikor writin...
[SPARK-36269][SQL] Csak az adatoszlopok Hive-oszlopnevek konfigurációjának beállítása
[SPARK-36213][SQL] PartitionSpec normalizálása a Table Command és a PartitionSpec leírásához
[SPARK-36210][SQL] Oszlopbeszúrási sorrend megőrzése az Dataset.withColumnsban
[SPARK-36079][SQL] A nullalapú szűrőbecslésnek mindig a tartományban kell lennie [0, 1]
[SPARK-28266][SQL] a convertToLogicalRelation nem értelmezi path a tulajdonságot Hive-táblák olvasásakor

Karbantartási frissítések

Lásd a Databricks Runtime 9.1 LTS karbantartási frissítéseit.

Rendszerkörnyezet

Operációs rendszer: Ubuntu 20.04.4 LTS
Java: Zulu 8.56.0.21-CA-linux64
Scala: 2.12.10
Python: 3.8.10
R: 4.1.1
Delta Lake: 1.0.0

Telepített Python-kódtárak

Könyvtár	Verzió	Könyvtár	Verzió	Könyvtár	Verzió
Antergos Linux	2015.10 (ISO-rolling)	appdirs	1.4.4	backcall	0.2.0
boto3	1.16.7	botocore	1.19.7	minősítés	2020.12.5
karakterkészlet	4.0.0	biciklista	0.10.0	Cython	0.29.23
dbus-python	1.2.16	lakberendező	5.0.6	distlib	0.3.2
distro-info	0,23ubuntu1	aspektusok áttekintése	1.0.0	filelock	3.0.12
idna	2.10	ipykernel	5.3.4	ipython	7.22.0
ipython-genutils	0.2.0	jedi	0.17.2	jmespath	0.10.0
joblib	1.0.1	jupyter-client	6.1.12	jupyter-core	4.7.1
kiwisolver	1.3.1	Koalák	1.8.1	matplotlib	3.4.2
numpy	1.19.2	pandas	1.2.4	parso	0.7.0
Patsy	0.5.1	pexpect	4.8.0	pickleshare	0.7.5
Párna	8.2.0	mag	21.0.1	ábrázolás	5.1.0
prompt-toolkit	3.0.17	protobuf	3.17.2	psycopg2	2.8.5
ptyprocess	0.7.0	pyarrow	4.0.0	Pygments	2.8.1
PyGObject	3.36.0	pyparsing	2.4.7	python-apt	2.0.0+ubuntu0.20.4.5
python-dateutil	2.8.1	pytz	2020.5	pyzmq	20.0.0
kérelmek	2.25.1	requests-unixsocket	0.2.0	s3transfer	0.3.7
scikit-learn	0.24.1	scipy	1.6.2	tengeri	0.11.1
setuptools	52.0.0	Hat	1.15.0	ssh-import-id	5.10
statsmodels	0.12.2	Kitartás	8.0.1	threadpoolctl	2.1.0
tornádó	6.1	árulók	5.0.5	felügyelet nélküli frissítések	0,1
urllib3	1.25.11	virtualenv	20.4.1	wcwidth	0.2.5
kerék	0.36.2

Telepített R-kódtárak

Az R-kódtárak a Microsoft CRAN-pillanatképből vannak telepítve 2021.09.08-án.

Könyvtár	Verzió	Könyvtár	Verzió	Könyvtár	Verzió
askpass	1,1	assertthat	0.2.1	backports	1.2.1
alap	4.1.1	base64enc	0.1-3	bit	4.0.4
bit64	4.0.5	blob	1.2.2	indítás	1.3-28
főz	1.0-6	Brio	1.1.2	seprű	0.7.9
bslib	0.3.0	gyorsítótár	1.0.6	hívó	3.7.0
kalap	6.0-88	cellranger	1.1.0	chron	2.3-56
osztály	7.3-19	Cli	3.0.1	clipr	0.7.1
fürt	2.1.2	kódtoolok	0.2-18	színtér	2.0-2
commonmark	1,7	fordítóprogram	4.1.1	config	0.3.1
cpp11	0.3.1	zsírkréta	1.4.1	hitelesítő adatok	1.3.1
csavarodik	4.3.2	data.table	1.14.0	adatkészletek	4.1.1
DBI	1.1.1	dbplyr	2.1.1	Desc	1.3.0
devtools	2.4.2	diffobj	0.3.4	emészt	0.6.27
dplyr	1.0.7	dtplyr	1.1.0	három pont	0.3.2
evaluate	0,14	fani	0.5.0	farver	2.1.0
gyorstérkép	1.1.0	forcats	0.5.1	foreach	1.5.1
külföldi	0.8-81	kovácsol	0.2.0	Fs	1.5.0
jövő	1.22.1	future.apply	1.8.1	gargarizál	1.2.0
Generikus	0.1.0	Gert	1.3.2	ggplot2	3.3.5
Gh	1.3.0	gitcreds	0.1.1	glmnet	4.1-2
globális	0.14.0	ragasztó	1.4.2	googledrive	2.0.0
googlesheets4	1.0.0	Gower	0.2.2	grafika	4.1.1
grDevices	4.1.1	rács	4.1.1	gridExtra	2.3
gsubfn	0,7	gtable	0.3.0	kikötő	2.4.3
highr	0,9	Hms	1.1.0	htmltoolok	0.5.2
htmlwidgets	1.5.3	httpuv	1.6.2	httr	1.4.2
hwriter	1.3.2	hwriterPlus	1.0-3	Azonosítók	1.0.1
ini	0.3.1	ipred	0.9-11	izoband	0.2.5
iterátorok	1.0.13	jquerylib	0.1.4	jsonlite	1.7.2
KernSmooth	2.23-20	knitr	1.33	címkézés	0.4.2
később	1.3.0	rács	0.20-44	láva	1.6.10
életciklus	1.0.0	figyelő	0.8.0	lubridate	1.7.10
magrittr	2.0.1	markdown	1,1	TÖMEG	7.3-54
Mátrix	1.3-4	memoise	2.0.0	metódusok	4.1.1
mgcv	1.8-36	MIME	0,11	ModelMetrics	1.2.2.2
modellező	0.1.8	munsell	0.5.0	nlme	3.1-152
nnet	7.3-16	numDeriv	2016.8-1.1	openssl	1.4.5
parallel	4.1.1	párhuzamosan	1.27.0	pillér	1.6.2
pkgbuild	1.2.0	pkgconfig	2.0.3	pkgload	1.2.1
plogr	0.2.0	rétegelt	1.8.6	dicséret	1.0.0
prettyunits	1.1.1	Proc	1.18.0	processx	3.5.2
prodlim	2019.11.13	haladás	1.2.2	progressr	0.8.0
Ígér	1.2.0.1	Proto	1.0.0	Ps	1.6.0
purrr	0.3.4	r2d3	0.2.5	R6	2.5.1
randomForest	4.6-14	rappdirs	0.3.3	rcmdcheck	1.3.3
RColorBrewer	1.1-2	Rcpp	1.0.7	olvasó	2.0.1
readxl	1.3.1	receptek	0.1.16	Visszavágót	1.0.1
visszavágó2	2.1.2	Távirányító	2.4.0	reprex	2.0.1
újraformázás2	1.4.4	rlang	0.4.11	rmarkdown	2.10
RODBC	1.3-18	roxygen2	7.1.1	rpart	4.1-15
rprojroot	2.0.2	Rserve	1.8-8	RSQLite	2.2.8
rstudioapi	0,13	rversions	2.1.1	rvest	1.0.1
Sass	0.4.0	mérleg	1.1.1	választó	0.4-2
sessioninfo	1.1.1	alak	1.4.6	Fényes	1.6.0
sourcetools	0.1.7	sparklyr	1.7.1	SparkR	3.1.1
térbeli	7.3-11	splines	4.1.1	sqldf	0.4-11
NÉGYZET	2021.1	statisztika	4.1.1	statisztikák4	4.1.1
stringi	1.7.4	sztring	1.4.0	túlélés	3.2-13
sys	3.4	tcltk	4.1.1	TeachingDemos	2.10
testthat	3.0.4	tibble	3.1.4	tidyr	1.1.3
tidyselect	1.1.1	tidyverse	1.3.1	timeDate	3043.102
tinytex	0.33	eszközök	4.1.1	tzdb	0.1.2
usethis	2.0.1	utf8	1.2.2	eszközök	4.1.1
uuid	0.1-4	vctrs	0.3.8	viridisLite	0.4.0
vroom	1.5.4	Waldo	0.3.0	bajusz	0,4
withr	2.4.2	xfun	0,25	xml2	1.3.2
xopen	1.0.0	xtable	1.8-4	yaml	2.2.1
fütyülés	2.2.0

Telepített Java- és Scala-kódtárak (Scala 2.12-fürtverzió)

Csoportazonosító	Összetevő azonosítója	Verzió
antlr	antlr	2.7.7
com.amazonaws	amazon-kinesis-client	1.12.0
com.amazonaws	aws-java-sdk-autoscaling	1.11.655
com.amazonaws	aws-java-sdk-cloudformation	1.11.655
com.amazonaws	aws-java-sdk-cloudfront	1.11.655
com.amazonaws	aws-java-sdk-cloudhsm	1.11.655
com.amazonaws	aws-java-sdk-cloudsearch	1.11.655
com.amazonaws	aws-java-sdk-cloudtrail	1.11.655
com.amazonaws	aws-java-sdk-cloudwatch	1.11.655
com.amazonaws	aws-java-sdk-cloudwatchmetrics	1.11.655
com.amazonaws	aws-java-sdk-codedeploy	1.11.655
com.amazonaws	aws-java-sdk-cognitoidentity	1.11.655
com.amazonaws	aws-java-sdk-cognitosync	1.11.655
com.amazonaws	aws-java-sdk-config	1.11.655
com.amazonaws	aws-java-sdk-core	1.11.655
com.amazonaws	aws-java-sdk-datapipeline	1.11.655
com.amazonaws	aws-java-sdk-directconnect	1.11.655
com.amazonaws	aws-java-sdk-directory	1.11.655
com.amazonaws	aws-java-sdk-dynamodb	1.11.655
com.amazonaws	aws-java-sdk-ec2	1.11.655
com.amazonaws	aws-java-sdk-ecs	1.11.655
com.amazonaws	aws-java-sdk-efs	1.11.655
com.amazonaws	aws-java-sdk-elasticache	1.11.655
com.amazonaws	aws-java-sdk-elasticbeanstalk	1.11.655
com.amazonaws	aws-java-sdk-elasticloadbalancing	1.11.655
com.amazonaws	aws-java-sdk-elastictranscoder	1.11.655
com.amazonaws	aws-java-sdk-emr	1.11.655
com.amazonaws	aws-java-sdk-glacier	1.11.655
com.amazonaws	aws-java-sdk-glue	1.11.655
com.amazonaws	aws-java-sdk-iam	1.11.655
com.amazonaws	aws-java-sdk-importexport	1.11.655
com.amazonaws	aws-java-sdk-kinesis	1.11.655
com.amazonaws	aws-java-sdk-kms	1.11.655
com.amazonaws	aws-java-sdk-lambda	1.11.655
com.amazonaws	aws-java-sdk-logs	1.11.655
com.amazonaws	aws-java-sdk-machinelearning	1.11.655
com.amazonaws	aws-java-sdk-marketplacecommerceanalytics	1.11.655
com.amazonaws	aws-java-sdk-marketplacemeteringservice	1.11.655
com.amazonaws	aws-java-sdk-opsworks	1.11.655
com.amazonaws	aws-java-sdk-rds	1.11.655
com.amazonaws	aws-java-sdk-redshift	1.11.655
com.amazonaws	aws-java-sdk-route53	1.11.655
com.amazonaws	aws-java-sdk-s3	1.11.655
com.amazonaws	aws-java-sdk-ses	1.11.655
com.amazonaws	aws-java-sdk-simpledb	1.11.655
com.amazonaws	aws-java-sdk-simpleworkflow	1.11.655
com.amazonaws	aws-java-sdk-sns	1.11.655
com.amazonaws	aws-java-sdk-sqs	1.11.655
com.amazonaws	aws-java-sdk-ssm	1.11.655
com.amazonaws	aws-java-sdk-storagegateway	1.11.655
com.amazonaws	aws-java-sdk-sts	1.11.655
com.amazonaws	aws-java-sdk-support	1.11.655
com.amazonaws	aws-java-sdk-swf-libraries	1.11.22
com.amazonaws	aws-java-sdk-workspaces	1.11.655
com.amazonaws	jmespath-java	1.11.655
com.chuusai	shapeless_2.12	2.3.3
com.clearspring.analytics	patak	2.9.6
com.databricks	Rserve	1.8-3
com.databricks	jets3t	0.7.1-0
com.databricks.scalapb	compilerplugin_2.12	0.4.15-10
com.databricks.scalapb	scalapb-runtime_2.12	0.4.15-10
com.esotericsoftware	kryo-shaded	4.0.2
com.esotericsoftware	minlog	1.3.0
com.fasterxml	osztálytárs	1.3.4
com.fasterxml.jackson.core	jackson-annotations	2.10.0
com.fasterxml.jackson.core	jackson-core	2.10.0
com.fasterxml.jackson.core	jackson-databind	2.10.0
com.fasterxml.jackson.dataformat	jackson-dataformat-cbor	2.10.0
com.fasterxml.jackson.datatype	jackson-datatype-joda	2.10.0
com.fasterxml.jackson.module	jackson-module-paranamer	2.10.0
com.fasterxml.jackson.module	jackson-module-scala_2.12	2.10.0
com.github.ben-manes.koffein	koffein	2.3.4
com.github.fommil	jniloader	1,1
com.github.fommil.netlib	core	1.1.2
com.github.fommil.netlib	native_ref-java	1,1
com.github.fommil.netlib	native_ref-java-natívok	1,1
com.github.fommil.netlib	native_system-java	1,1
com.github.fommil.netlib	native_system-java-natívok	1,1
com.github.fommil.netlib	netlib-native_ref-linux-x86_64-natives	1,1
com.github.fommil.netlib	netlib-native_system-linux-x86_64-natives	1,1
com.github.joshelser	dropwizard-metrics-hadoop-metrics2-reporter	0.1.2
com.github.luben	zstd-jni	1.4.8-1
com.github.wendykierp	JTransforms	3.1
com.google.code.findbugs	jsr305	3.0.0
com.google.code.gson	gson	2.2.4
com.google.crypto.tink	Csellengő	1.6.0
com.google.flatbuffers	flatbuffers-java	1.9.0
com.google.guava	gujávafa	15,0
com.google.protobuf	protobuf-java	2.6.1
com.h2database	h2	1.4.195
com.helger	Profiler	1.1.1
com.jcraft	jsch	0.1.50
com.jolbox	bonecp	0.8.0.RELEASE
com.lihaoyi	sourcecode_2.12	0.1.9
com.microsoft.azure	azure-data-lake-store-sdk	2.3.9
com.microsoft.sqlserver	mssql-jdbc	9.2.1.jre8
com.ning	compress-lzf	1.0.3
com.sun.mail	javax.mail	1.5.2
com.tdunning	json	1.8
com.thoughtworks.paranamer	paranamer	2.8
com.trueaccord.lenses	lenses_2.12	0.4.12
com.twitter	chill-java	0.9.5
com.twitter	chill_2.12	0.9.5
com.twitter	util-app_2.12	7.1.0
com.twitter	util-core_2.12	7.1.0
com.twitter	util-function_2.12	7.1.0
com.twitter	util-jvm_2.12	7.1.0
com.twitter	util-lint_2.12	7.1.0
com.twitter	util-registry_2.12	7.1.0
com.twitter	util-stats_2.12	7.1.0
com.typesafe	config	1.2.1
com.typesafe.scala-logging	scala-logging_2.12	3.7.2
com.univocity	univocity-parsers	2.9.1
com.zaxxer	HikariCP	3.1.0
commons-beanutils	commons-beanutils	1.9.4
commons-cli	commons-cli	1,2
commons-codec	commons-codec	1.10
commons-collections	commons-collections	3.2.2
commons-configuration	commons-configuration	1.6
commons-dbcp	commons-dbcp	1.4
commons-digester	commons-digester	1.8
commons-fileupload	commons-fileupload	1.3.3
commons-httpclient	commons-httpclient	3.1
commons-io	commons-io	2,4
commons-lang	commons-lang	2.6
commons-naplózás	commons-naplózás	1.1.3
commons-net	commons-net	3.1
commons-pool	commons-pool	1.5.4
hive-2.3__hadoop-2.7	jets3t-0.7	liball_deps_2.12
hive-2.3__hadoop-2.7	zookeeper-3.4	liball_deps_2.12
info.ganglia.gmetric4j	gmetric4j	1.0.10
io.airlift	aircompressor	0.10
io.delta	delta-sharing-spark_2.12	0.1.0
io.dropwizard.metrics	metrikamag	4.1.1
io.dropwizard.metrics	metrics-graphite	4.1.1
io.dropwizard.metrics	metrics-healthchecks	4.1.1
io.dropwizard.metrics	metrics-jetty9	4.1.1
io.dropwizard.metrics	metrics-jmx	4.1.1
io.dropwizard.metrics	metrics-json	4.1.1
io.dropwizard.metrics	metrics-jvm	4.1.1
io.dropwizard.metrics	metrics-servlets	4.1.1
io.netty	netty-all	4.1.51.Final
io.prometheus	simpleclient	0.7.0
io.prometheus	simpleclient_common	0.7.0
io.prometheus	simpleclient_dropwizard	0.7.0
io.prometheus	simpleclient_pushgateway	0.7.0
io.prometheus	simpleclient_servlet	0.7.0
io.prometheus.jmx	gyűjtő	0.12.0
jakarta.annotation	jakarta.annotation-api	1.3.5
jakarta.validation	jakarta.validation-api	2.0.2
jakarta.ws.rs	jakarta.ws.rs-api	2.1.6
javax.activation	aktiválás	1.1.1
javax.el	javax.el-api	2.2.4
javax.jdo	jdo-api	3.0.1
javax.servlet	javax.servlet-api	3.1.0
javax.servlet.jsp	jsp-api	2.1
javax.transaction	jta	1,1
javax.transaction	transaction-api	1,1
javax.xml.bind	jaxb-api	2.2.2
javax.xml.stream	stax-api	1.0-2
javolution	javolution	5.5.1
jline	jline	2.14.6
joda-time	joda-time	2.10.5
log4j	apache-log4j-extras	1.2.17
log4j	log4j	1.2.17
maven-fák	hive-2.3__hadoop-2.7	liball_deps_2.12
net.java.dev.jna	jna	5.8.0
net.razorvine	pyrolite	4.30
net.sf.jpam	jpam	1,1
net.sf.opencsv	opencsv	2.3
net.sf.supercsv	super-csv	2.2.0
net.snowflake	snowflake-ingest-sdk	0.9.6
net.snowflake	snowflake-jdbc	3.13.3
net.snowflake	spark-snowflake_2.12	2.9.0-spark_3.1
net.sourceforge.f2j	arpack_combined_all	0,1
org.acplt.remotetea	remotetea-oncrpc	1.1.2
org.antlr	ST4	4.0.4
org.antlr	antlr-runtime	3.5.2
org.antlr	antlr4-runtime	4.8-1
org.antlr	stringtemplate	3.2.1
org.apache.ant	ant	1.9.2
org.apache.ant	ant-jsch	1.9.2
org.apache.ant	ant-launcher	1.9.2
org.apache.arrow	nyílformátum	2.0.0
org.apache.arrow	nyíl-memóriamag	2.0.0
org.apache.arrow	nyíl-memória-netty	2.0.0
org.apache.arrow	nyíl-vektor	2.0.0
org.apache.avro	avro	1.8.2
org.apache.avro	avro-ipc	1.8.2
org.apache.avro	avro-mapred-hadoop2	1.8.2
org.apache.commons	commons-compress	1,20
org.apache.commons	commons-crypto	1.1.0
org.apache.commons	commons-lang3	3,10
org.apache.commons	commons-math3	3.4.1
org.apache.commons	commons-text	1.6
org.apache.curator	kurátor-ügyfél	2.7.1
org.apache.curator	kurátor-keretrendszer	2.7.1
org.apache.curator	kurátor-receptek	2.7.1
org.apache.derby	keménykalap	10.12.1.1
org.apache.directory.api	api-asn1-api	1.0.0-M20
org.apache.directory.api	api-util	1.0.0-M20
org.apache.directory.server	apacheds-i18n	2.0.0-M15
org.apache.directory.server	apacheds-kerberos-codec	2.0.0-M15
org.apache.hadoop	hadoop-annotations	2.7.4
org.apache.hadoop	hadoop-auth	2.7.4
org.apache.hadoop	hadoop-client	2.7.4
org.apache.hadoop	hadoop-common	2.7.4
org.apache.hadoop	hadoop-hdfs	2.7.4
org.apache.hadoop	hadoop-mapreduce-client-app	2.7.4
org.apache.hadoop	hadoop-mapreduce-client-common	2.7.4
org.apache.hadoop	hadoop-mapreduce-client-core	2.7.4
org.apache.hadoop	hadoop-mapreduce-client-jobclient	2.7.4
org.apache.hadoop	hadoop-mapreduce-client-shuffle	2.7.4
org.apache.hadoop	hadoop-yarn-api	2.7.4
org.apache.hadoop	hadoop-yarn-client	2.7.4
org.apache.hadoop	hadoop-yarn-common	2.7.4
org.apache.hadoop	hadoop-yarn-server-common	2.7.4
org.apache.hive	hive-beeline	2.3.7
org.apache.hive	hive-cli	2.3.7
org.apache.hive	hive-jdbc	2.3.7
org.apache.hive	hive-llap-client	2.3.7
org.apache.hive	hive-llap-common	2.3.7
org.apache.hive	hive-serde	2.3.7
org.apache.hive	hive-shims	2.3.7
org.apache.hive	hive-storage-api	2.7.2
org.apache.hive.shims	hive-shims-0.23	2.3.7
org.apache.hive.shims	hive-shims-common	2.3.7
org.apache.hive.shims	hive-shims-scheduler	2.3.7
org.apache.htrace	htrace-core	3.1.0-inkubálás
org.apache.httpcomponents	httpclient	4.5.6
org.apache.httpcomponents	httpcore	4.4.12
org.apache.ivy	borostyán	2.4.0
org.apache.mesos	mesos-shaded-protobuf	1.4.0
org.apache.orc	orc-core	1.5.12
org.apache.orc	orc-mapreduce	1.5.12
org.apache.orc	orc-shims	1.5.12
org.apache.parquet	parquet-column	1.10.1-databricks9
org.apache.parquet	parquet-common	1.10.1-databricks9
org.apache.parquet	parquet-kódolás	1.10.1-databricks9
org.apache.parquet	parquet-format	2.4.0
org.apache.parquet	parquet-hadoop	1.10.1-databricks9
org.apache.parquet	parquet-jackson	1.10.1-databricks9
org.apache.thrift	libfb303	0.9.3
org.apache.thrift	libthrift	0.12.0
org.apache.xbean	xbean-asm7-shaded	4.15
org.apache.yetus	célközönség-széljegyzetek	0.5.0
org.apache.zookeeper	zookeeper	3.4.14
org.codehaus.jackson	jackson-core-asl	1.9.13
org.codehaus.jackson	jackson-jaxrs	1.9.13
org.codehaus.jackson	jackson-mapper-asl	1.9.13
org.codehaus.jackson	jackson-xc	1.9.13
org.codehaus.janino	commons-compiler	3.0.16
org.codehaus.janino	janino	3.0.16
org.datanucleus	datanucleus-api-jdo	4.2.4
org.datanucleus	datanucleus-core	4.1.17
org.datanucleus	datanucleus-rdbms	4.1.19
org.datanucleus	javax.jdo	3.2.0-m3
org.eclipse.jetty	jetty-client	9.4.42.v20210604
org.eclipse.jetty	móló-folytatás	9.4.42.v20210604
org.eclipse.jetty	jetty-http	9.4.42.v20210604
org.eclipse.jetty	jetty-io	9.4.42.v20210604
org.eclipse.jetty	jetty-jndi	9.4.42.v20210604
org.eclipse.jetty	móló plusz	9.4.42.v20210604
org.eclipse.jetty	jetty-proxy	9.4.42.v20210604
org.eclipse.jetty	jetty-security	9.4.42.v20210604
org.eclipse.jetty	jetty-server	9.4.42.v20210604
org.eclipse.jetty	jetty-servlet	9.4.42.v20210604
org.eclipse.jetty	jetty-servlets	9.4.42.v20210604
org.eclipse.jetty	jetty-util	9.4.42.v20210604
org.eclipse.jetty	jetty-util-ajax	9.4.42.v20210604
org.eclipse.jetty	jetty-webapp	9.4.42.v20210604
org.eclipse.jetty	jetty-xml	9.4.42.v20210604
org.eclipse.jetty.websocket	websocket-api	9.4.42.v20210604
org.eclipse.jetty.websocket	websocket-client	9.4.42.v20210604
org.eclipse.jetty.websocket	websocket-common	9.4.42.v20210604
org.eclipse.jetty.websocket	websocket-server	9.4.42.v20210604
org.eclipse.jetty.websocket	websocket-servlet	9.4.42.v20210604
org.fusesource.leveldbjni	leveldbjni-all	1.8
org.glassfish.hk2	hk2-api	2.6.1
org.glassfish.hk2	hk2-lokátor	2.6.1
org.glassfish.hk2	hk2-utils	2.6.1
org.glassfish.hk2	osgi-resource-locator	1.0.3
org.glassfish.hk2.external	aopalliance-repackaged	2.6.1
org.glassfish.hk2.external	jakarta.inject	2.6.1
org.glassfish.jersey.containers	jersey-container-servlet	2.30
org.glassfish.jersey.containers	jersey-container-servlet-core	2.30
org.glassfish.jersey.core	jersey-client	2.30
org.glassfish.jersey.core	jersey-common	2.30
org.glassfish.jersey.core	jersey-server	2.30
org.glassfish.jersey.inject	jersey-hk2	2.30
org.glassfish.jersey.media	jersey-media-jaxb	2.30
org.hibernate.validator	hibernate-validator	6.1.0.Final
org.javassist	javassist	3.25.0-GA
org.jboss.logging	jboss-logging	3.3.2.Végleges
org.jdbi	jdbi	2.63.1
org.joda	joda-convert	1,7
org.jodd	jodd-core	3.5.2
org.json4s	json4s-ast_2.12	3.7.0-M5
org.json4s	json4s-core_2.12	3.7.0-M5
org.json4s	json4s-jackson_2.12	3.7.0-M5
org.json4s	json4s-scalap_2.12	3.7.0-M5
org.lz4	lz4-java	1.7.1
org.mariadb.jdbc	mariadb-java-client	2.2.5
org.objenesis	objenesis	2.5.1
org.postgresql	postgresql	42.1.4
org.roaringbitmap	RoaringBitmap	0.9.14
org.roaringbitmap	Alátéteket	0.9.14
org.rocksdb	rocksdbjni	6.20.3
org.rosuda.REngine	REngine	2.1.0
org.scala-lang	scala-compiler_2.12	2.12.10
org.scala-lang	scala-library_2.12	2.12.10
org.scala-lang	scala-reflect_2.12	2.12.10
org.scala-lang.modules	scala-collection-compat_2.12	2.1.1
org.scala-lang.modules	scala-parser-combinators_2.12	1.1.2
org.scala-lang.modules	scala-xml_2.12	1.2.0
org.scala-sbt	teszt-interfész	1.0
org.scalacheck	scalacheck_2.12	1.14.2
org.scalactic	scalactic_2.12	3.0.8
org.scalanlp	breeze-macros_2.12	1.0
org.scalanlp	breeze_2.12	1.0
org.scalatest	scalatest_2.12	3.0.8
org.slf4j	jcl-over-slf4j	1.7.30
org.slf4j	jul-to-slf4j	1.7.30
org.slf4j	slf4j-api	1.7.30
org.slf4j	slf4j-log4j12	1.7.30
org.spark-project.spark	Használatlan	1.0.0
org.springframework	spring-core	4.1.4.RELEASE
org.springframework	rugós teszt	4.1.4.RELEASE
org.threeten	három-extra	1.5.0
org.tukaani	xz	1,5
org.typelevel	algebra_2.12	2.0.0-M2
org.typelevel	cats-kernel_2.12	2.0.0-M4
org.typelevel	machinist_2.12	0.6.8
org.typelevel	makró-compat_2.12	1.1.1
org.typelevel	spire-macros_2.12	0.17.0-M1
org.typelevel	spire-platform_2.12	0.17.0-M1
org.typelevel	spire-util_2.12	0.17.0-M1
org.typelevel	spire_2.12	0.17.0-M1
org.wildfly.openssl	wildfly-openssl	1.0.7.Final
org.xerial	sqlite-jdbc	3.8.11.2
org.xerial.snappy	snappy-java	1.1.8.2
org.yaml	snakeyaml	1.24
oro	oro	2.0.8
pl.edu.icm	JLargeArrays	1,5
software.amazon.ion	ion-java	1.0.2
stax	stax-api	1.0.1
xmlenc	xmlenc	0,52

Megosztás a következőn keresztül:

Databricks Runtime 9.1 LTS

Új funkciók és fejlesztések

Az automatikus betöltő sématippjei mostantól tömb- és térképtípusokkal működnek

Az egyesítési séma Avro-fájltámogatása

Automatikus betöltő növekményes lista támogatása (nyilvános előzetes verzió)

A Delta mostantól támogatja az tetszőleges helycserét

A Google Cloud automatikus betöltője mostantól támogatja a fájlértesítéseket (nyilvános előzetes verzió)

A CREATE FÜGGVÉNY mostantól támogatja a táblafüggvények létrehozását

A Kafka Streaming Source mostantól metrikát jelent `estimatedTotalBytesBehindLatest`

A tömbökön belüli szerkezetek esetében a Delta MERGE INTO mostantól név alapján oldja fel a strukturálási mezőket, és átalakítja a strukturálási sémákat

Hibajavítások

Könyvtárfrissítések

Apache Spark

Karbantartási frissítések

Rendszerkörnyezet

Telepített Python-kódtárak

Telepített R-kódtárak

Telepített Java- és Scala-kódtárak (Scala 2.12-fürtverzió)

Visszajelzés

További források

Megosztás a következőn keresztül:

Databricks Runtime 9.1 LTS

Új funkciók és fejlesztések

Az automatikus betöltő sématippjei mostantól tömb- és térképtípusokkal működnek

Az egyesítési séma Avro-fájltámogatása

Automatikus betöltő növekményes lista támogatása (nyilvános előzetes verzió)

A Delta mostantól támogatja az tetszőleges helycserét

A Google Cloud automatikus betöltője mostantól támogatja a fájlértesítéseket (nyilvános előzetes verzió)

A CREATE FÜGGVÉNY mostantól támogatja a táblafüggvények létrehozását

A Kafka Streaming Source mostantól metrikát jelent estimatedTotalBytesBehindLatest

A tömbökön belüli szerkezetek esetében a Delta MERGE INTO mostantól név alapján oldja fel a strukturálási mezőket, és átalakítja a strukturálási sémákat

Hibajavítások

Könyvtárfrissítések

Apache Spark

Karbantartási frissítések

Rendszerkörnyezet

Telepített Python-kódtárak

Telepített R-kódtárak

Telepített Java- és Scala-kódtárak (Scala 2.12-fürtverzió)

Visszajelzés

További források

A Kafka Streaming Source mostantól metrikát jelent `estimatedTotalBytesBehindLatest`