Megosztás a következőn keresztül:

Databricks Runtime 9.0 (EoS)

  • Cikk

Feljegyzés

A Databricks Runtime-verzió támogatása véget ért. A támogatás megszűnésének dátumáról lásd a támogatási előzményeket. Az összes támogatott Databricks Runtime-verziót lásd : Databricks Runtime release notes versions and compatibility.

A következő kibocsátási megjegyzések az Apache Spark 3.1.2 által működtetett Databricks Runtime 9.0-s és Databricks Runtime 9.0 Photon-ről nyújtanak információkat. A Databricks 2021 augusztusában adta ki ezt a verziót. A Photon nyilvános előzetes verzióban érhető el.

Helyesbítés

A kibocsátási megjegyzések egy korábbi verziója helytelenül állította, hogy az Apache Parquet-függőségek 1.10-ről 1.12-re frissültek. A parquet-függőségek valójában az 1.10-es verziónál maradnak. A helytelen kiadási megjegyzés el lett távolítva.

Új funkciók és fejlesztések

Új API az adathalmazok összefoglaló statisztikáihoz (nyilvános előzetes verzió)

A Databricks Utilities új dbutils.data.summarize parancsával elindíthat egy Spark-feladatot, amely automatikusan kiszámítja a Spark DataFrame oszlopainak összesített statisztikáit, majd interaktívan megjeleníti az eredményeket. Ez a függvény a Scalában és a Pythonban érhető el. Lásd: Adat segédprogram (dbutils.data).

Egyszerűbb külső adatforrás-konfiguráció az Azure Synapse-összekötőhöz

Az Azure Synapse Analytics-összekötő lekérdezési adatainak új externalDataSource lehetősége lehetővé teszi egy előre kiépített külső adatforrás használatát egy Azure Synapse-adatbázisból való olvasáshoz. A externalDataSource beállítás megszünteti a korábban szükséges engedély szükségességét CONTROL .

Beállításkor externalDataSourcea külső adatforrásnak és az tempDir ideiglenes tárolás konfigurálásához használt beállításnak ugyanarra a tárolóra kell hivatkoznia a tárfiókban.

Az Amazon Redshift-összekötő munkamenetének egy meghatározott időtartamára is korlátozható

Az Azure Databricks-összekötőt használó Amazon Redshift lekérdezés új fs.s3a.assumed.role.session.duration lehetősége lehetővé teszi a munkamenet időtartamának beállítását, amikor a Redshift egy feltételezett szerepkörrel rendelkező ideiglenes S3-gyűjtőhöz fér hozzá.

Automatikus betöltő

Optimalizált fájllista

Az automatikus rakodóoptimalizálás teljesítménybeli javulást és költségmegtakarítást biztosít a beágyazott címtárak felhőbeli tárolókban való listázásakor, beleértve az AWS S3-at, az Azure Data Lake Storage Gen2-t (ADLS Gen2) és a Google Cloud Storage-t (GCS).

Ha például a fájlok feltöltése /some/path/YYYY/MM/DD/HH/fileNamea könyvtárakban lévő összes fájl megkereséséhez szükséges, az Automatikus betöltő az összes alkönyvtár párhuzamos felsorolását tette lehetővé, ami 365 (naponta) * 24 (óránként) = 8760 LIST API-címtár hívása az alapul szolgáló tárba minden év könyvtárában. Ezeknek a tárolórendszereknek az egybesimított válaszával az Automatikus betöltő csökkenti a tárolórendszerben lévő fájlokra irányuló API-hívások számát az egyes API-hívások által visszaadott eredmények számával osztva (S3 esetén 1000, ADLS Gen2 esetén 5000, GCS esetén 1024), ami jelentősen csökkenti a felhőköltségeket.

Optimalizált képadattár

Az automatikus betöltő mostantól képes automatikusan észlelni a betöltendő képadatokat, és optimalizálni a tárolót a Delta-táblákban az olvasási és írási teljesítmény javítása érdekében. Lásd : Kép vagy bináris adatok betöltése a Delta Lake for ML-be.

Bináris fájlok kép miniatűrjei (nyilvános előzetes verzió)

binaryFile Az Automatikus betöltővel deltatáblákként betöltött vagy mentett képekhez széljegyzetek vannak csatolva, így a rendszerkép miniatűrjei megjelennek, amikor egy Azure Databricks-jegyzetfüzetben jeleníti meg a táblázatot. További információ: Képek.

DirectoryRename események lehetővé teszik több fájl atomi feldolgozását

Az Azure Data Lake Storage Gen2-n a Databricks Runtime 9.0-s és újabb verziókban létrehozott automatikus betöltési streamek fájlesemény-értesítéseket állítottak be a címtár átnevezésére és az események figyelésére RenameDirectory . A címtár-átnevezésekkel több fájl is megjeleníthető atomi módon az Automatikus betöltőben.

SQL

Oszlopok kizárása ( SELECT * nyilvános előzetes verzió)

SELECT * Mostantól támogatja a EXCEPT kulcsszót, amely lehetővé teszi a megadott legfelső szintű oszlopok kizárását a bővítésből. Például SELECT * EXCEPT (b) FROM tbl egy sémát tartalmazó táblázatból a következőre (a, b, c) bővül: (a, c).

SQL skaláris függvények (nyilvános előzetes verzió)

CREATE FUNCTION mostantól támogatja az SQL skaláris függvényeket. Létrehozhat olyan skaláris függvényeket, amelyek argumentumokat használnak, és egyetlen skaláris típusú értéket ad vissza. Az SQL-függvény törzse bármilyen kifejezés lehet. Példa:

CREATE FUNCTION square(x DOUBLE) RETURNS DOUBLE RETURN x * x;
SELECT square(2);

További részletekért lásd: CREATE FÜGGVÉNY (SQL és Python).

Előző aliasok és oszlopok hivatkozása az al lekérdezésekben FROM (nyilvános előzetes verzió)

A lekérdezés záradékában lévő FROM al lekérdezéseket mostantól megelőzheti a LATERAL kulcsszó, amely lehetővé teszi számukra, hogy az előző FROM elemek aliasaira és oszlopaira hivatkozjanak. Példa:

SELECT * FROM t1, LATERAL (SELECT * FROM t2 WHERE t1.c1 = t2.c1)

A LATERAL kulcsszó támogatja INNERa , CROSSés LEFT (OUTER) JOIN.

Lásd a paramétereket és paramétereket.

R-támogatás

Jegyzetfüzet-hatókörű R-kódtárak (nyilvános előzetes verzió)

A jegyzetfüzet-hatókörű kódtárak lehetővé teszik a tárak telepítését és egy jegyzetfüzet-munkamenetre hatókörrel rendelkező környezet létrehozását. Ezek a tárak nem érintik az ugyanazon a fürtön futó többi jegyzetfüzetet. A kódtárak az illesztőprogram és a feldolgozó csomóponton is elérhetők, így a felhasználó által definiált függvényekben hivatkozhat rájuk. Lásd: Jegyzetfüzet-hatókörű R-kódtárak.

Figyelmeztető üzenetek R-jegyzetfüzetekben

A beállítás alapértelmezett értéke warn mostantól 1 az R-jegyzetfüzetekben. Ennek eredményeképpen az összes figyelmeztetés a parancs eredményének részeként jelenik meg. A beállításról további információt a warn Beállítások beállításai című témakörben talál.

A strukturált streamelés állapotalapú feldolgozásának kezdeti állapotának megadásával elkerülheti az újrakezdést

Mostantól megadhatja a felhasználó által definiált kezdeti állapotot a strukturált streamelési állapotalapú feldolgozáshoz operátor használatával [flat]MapGroupsWithState .

Lásd: A mapGroupsWithState kezdeti állapotának megadása.

A Delta MERGE INTO parancs alacsony elosztású implementációja már elérhető (nyilvános előzetes verzió)

A Delta MERGE INTO parancs egy új implementációval rendelkezik, amely csökkenti a nem módosított sorok elfojtását. Ez javítja a parancs teljesítményét, és segít megőrizni a meglévő fürtözést a táblán, például a Z-rendezést. Az alacsony sorrendű egyesítés engedélyezéséhez állítsa a következőre spark.databricks.delta.merge.enableLowShuffle true: . Lásd: Alacsony shuffle merge az Azure Databricksben.

Hibajavítások

  • Többé nem írhatja felül a nézetet ugyanazzal a névvel.

Könyvtárfrissítések

  • Frissített Python-kódtárak:
    • minősítés 2021.5.30-tól 2020.12.5-ig
    • karakterkészlet a 3.0.4-től a 4.0.0-sig
    • Cython 0.29.21-től 0.29.23-ig
    • dekoratőr 4.4.2-től 5.0.6-osig
    • ipython 7.19.0-tól 7.22.0-ig
    • joblib 0.17.0 és 1.0.1 között
    • jupyter-client 6.1.7 és 6.1.12 között
    • jupyter-core 4.6.3 és 4.7.1 között
    • kiwisolver 1.3.0 és 1.3.1 között
    • matplotlib 3.2.2 és 3.4.2 között
    • pandas 1.1.5 és 1.2.4 között
    • pip 20.2.4 és 21.0.1 között
    • prompt-toolkit 3.0.8 és 3.0.17 között
    • protobuf 3.17.3 és 3.17.2 között
    • ptyprocess 0.6.0 és 0.7.0 között
    • pyarrow 1.0.1 és 4.0.0 között
    • Pygments 2.7.2-től 2.8.1-hez
    • pyzmq 19.0.2 és 20.0.0 között
    • 2.24.0–2.25.1 közötti kérelmek
    • s3transfer 0.3.6-tól 0.3.7-hez
    • scikit-learn 0.23.2 és 0.24.1 között
    • scipy from 1.5.2 to 1.6.2
    • tengeri 0.10.0-tól 0.11.1-től
    • setuptools 50.3.1-től 52.0.0-ra
    • 0.12.0 és 0.12.2 közötti statisztikák
    • tornádó 6.0.4 és 6.1 között
    • virtualenv 20.2.1 és 20.4.1 között
    • 0.35.1 és 0.36.2 közötti kerék
  • Frissített R-kódtárak:
    • Mátrix 1,3-3 és 1,3-4 között

Apache Spark

A Databricks Runtime 9.0 tartalmazza az Apache Spark 3.1.2-t. Ez a kiadás tartalmazza a Databricks Runtime 8.4 -ben (EoS) található összes Spark-javítást és -fejlesztést, valamint a Spark következő további hibajavításait és fejlesztéseit:

  • [SPARK-35886] [SQL] [3.1] A PromotePrecision nem írhatja felül a genCodePromotePrecision parancsot, és nem írhatja felül a genCode-ot
  • [SPARK-35879] [CORE] [SHUFFLE] A collectFetchRequests által okozott teljesítményregresszió javítása
  • [SPARK-35817] [SQL] [3.1] Lekérdezések teljesítményének visszaállítása széles Avro-táblákon
  • [SPARK-35841] [SQL] A sztring decimális típusra történő formázása nem működik, ha a...
  • [SPARK-35783] [SQL] Az ORC-adatok olvasásának csökkentése érdekében állítsa be az olvasási oszlopok listáját a feladatkonfigurációban
  • [SPARK-35576] [SQL] [3.1] A bizalmas adatok újrakonfigurálása a Beállítás parancs eredményében
  • [SPARK-35449] [SQL] [3.1] Csak a CaseWhen értékekből nyerje ki a gyakori kifejezéseket, ha az elseValue be van állítva
  • [SPARK-35288] [SQL] A StaticInvoke-nak pontos argumentumosztályok nélkül kell megtalálnia a metódust
  • [SPARK-34794] [SQL] Lambda változónévvel kapcsolatos problémák megoldása beágyazott DataFrame-függvényekben
  • [SPARK-35278] [SQL] A meghívásnak meg kell találnia a megfelelő számú paramétert tartalmazó metódust
  • [SPARK-35226] [SQL] A refreshKrb5Config beállítás támogatása JDBC-adatforrásokban
  • [SPARK-35244] [SQL] A meghívásnak ki kell dobnia az eredeti kivételt
  • [SPARK-35213] [SQL] A beágyazott szerkezetek helyes sorrendjének megtartása aField-műveletekkel összekapcsolva
  • [SPARK-35087] [Felhasználói felület] A szakaszrészletes oldal végrehajtója által összesített metrikák tábla egyes oszlopai helytelenül jelennek meg.
  • [SPARK-35168] [SQL] mapred.reduce.tasks kell shuffle.partitions not adaptive.coalescePartitions.initialPartitionNum
  • [SPARK-35127] [Felhasználói felület] Amikor különböző szakaszrészletes lapok között váltunk, előfordulhat, hogy az újonnan megnyitott lap bejegyzéseleme üres
  • [SPARK-35142] [PYTHON] [ML] Helytelen visszatérési típus javítása a következőhöz rawPredictionUDF : OneVsRestModel
  • [SPARK-35096] [SQL] A SchemaPruningnak meg kell felelnie a spark.sql.caseSensitive konfigurációnak
  • [SPARK-34639] [SQL] [3.1] A RelationalGroupedDataset.alias nem hozhat létre unresolvedAlias-t
  • [SPARK-35080] [SQL] Csak a korrelált egyenlőségi predikátumok részhalmazának engedélyezése alkonfiguráció összesítése esetén
  • [SPARK-35117] [Felhasználói felület] A folyamatjelző sáv visszaállítása a folyamatban lévő tevékenységek arányának kiemelésére
  • [SPARK-35136] A LiveStage.info kezdeti null értékének eltávolítása
  • [SPARK-34834] [HÁLÓZAT] Lehetséges Netty-memóriaszivárgás javítása a TransportResponseHandlerben
  • [SPARK-35045] [SQL] Belső beállítás hozzáadása a bemeneti puffer meghívásos vezérléséhez
  • [SPARK-35014] Javítsa ki a PhysicalAggregation mintát, hogy ne írja újra az összehajtható kifejezéseket
  • [SPARK-35019] [PYTHON] [SQL] A pyspark.sql típuseltéréseinek javítása.*
  • [SPARK-34926] [SQL] [3.1] PartitioningUtils.getPathFragment() tiszteletben kell tartania a null partícióértéket
  • [SPARK-34630] [PYTHON] Adjon hozzá typehintet a pysparkhoz.verzió
  • [SPARK-34963] [SQL] A beágyazott oszlopmetszet javítása a kis- és nagybetűk érzéketlen szerkezetmezőjének a szerkezettömbből való kinyerése érdekében
  • [SPARK-34988] [CORE] [3.1] Upgrade Jetty for CVE-2021-28165
  • [SPARK-34922] [SQL] [3.1] Relatív költség-összehasonlító függvény használata a CBO-ban
  • [SPARK-34970] [SQL] [BIZTONSÁG] [3.1] Redact map-type options in the output of explain()
  • [SPARK-34923] [SQL] A metaadatok kimenetének üresnek kell lennie a további csomagokhoz
  • [SPARK-34949] [CORE] A BlockManager újraregisztrálásának megakadályozása a végrehajtó leállításakor
  • [SPARK-34939] [CORE] Beolvasási hiba kivételének elvetése, ha nem sikerült deszerializálni a közvetített térkép állapotát
  • [SPARK-34909] [SQL] A negatív és a nem alá nem írt konvergens() konvertálásának javítása
  • [SPARK-34845] [CORE] A ProcfsMetricsGetter nem ad vissza részleges procfs-metrikákat
  • [SPARK-34814] [SQL] A LikeSimplificationnek a NULL értéket kell kezelnie
  • [SPARK-34876] [SQL] Nem null értékű összesítések alapértelmezett értékének kitöltése
  • [SPARK-34829] [SQL] Magasabb sorrendű függvény eredményeinek javítása
  • [SPARK-34840] [SHUFFLE] Kijavítja az egyesített shuffle sérülési eseteit ...
  • [SPARK-34833] [SQL] A jobb oldali kitöltés alkalmazása a korrelált albekérdezésekhez
  • [SPARK-34630] [PYTHON] [SQL] A pyspark.sql.Column.contains típushiba hozzáadva
  • [SPARK-34763] [SQL] col(), $"name" és df("name") megfelelően kell kezelnie az idézett oszlopneveket
  • [SPARK-33482] [SPARK-34756] [SQL] A FileScan egyenlőségi ellenőrzésének javítása
  • [SPARK-34790] [CORE] Az io-titkosítás engedélyezése esetén tiltsa le a kötegelt shuffle-blokkok beolvasását
  • [SPARK-34803] [PYSPARK] Adja át a megemelt ImportErrort, ha a pandas vagy a pyarrow importálása sikertelen
  • [SPARK-34225] [CORE] Ne kódoljon tovább, ha URI-űrlapsztringet ad át az addFile vagy az addJar fájlnak
  • [SPARK-34811] [CORE] Redact fs.s3a.access.key, mint a titkos kód és a jogkivonat
  • [SPARK-34796] [SQL] [3.1] A LIMIT kód-gen számláló változójának inicializálása a doProduce() alkalmazásban
  • [SPARK-34128] [SQL] A THRIFT-4805 nem kívánt TTransportException figyelmeztetéseinek mellőzése
  • [SPARK-34776] [SQL] A beágyazott oszlopmetszet nem metszi az ablak által előállított attribútumokat
  • [SPARK-34087] [3.1] [SQL] A ExecutionListenerBus memóriaszivárgásának javítása
  • [SPARK-34772] [SQL] A RebaseDateTime loadRebaseRecords a Spark osztálybetöltőt használja környezet helyett
  • [SPARK-34719] [SQL] [3.1] A nézet lekérdezésének helyes feloldása ismétlődő oszlopnevekkel
  • [SPARK-34766] [SQL] [3.1] Ne rögzítse a maven-konfigurációt a nézetekhez
  • [SPARK-34731] [CORE] A ConcurrentModificationException elkerülése az EventLoggingListener tulajdonságainak újbóli megadásakor
  • [SPARK-34737] [SQL] [3.1] Az öntött bemeneti lebegőpontos TIMESTAMP_SECONDS
  • [SPARK-34749] [SQL] [3.1] A ResolveCreateNamedStruct egyszerűsítése
  • [SPARK-34768] [SQL] Az univocity alapértelmezett bemeneti pufferméretének tiszteletben tartása
  • [SPARK-34770] [SQL] Az InMemoryCatalog.tableExists nem hiúsul meg, ha az adatbázis nem létezik
  • [SPARK-34504] [SQL] Kerülje a DDL-parancsok SQL temp-nézeteinek szükségtelen feloldását
  • [SPARK-34727] [SQL] A lebegőpontos időbélyegre történő öntés eltérésének javítása
  • [SPARK-34723] [SQL] Paramétertípus javítása a teljes szakasz alatti szubexpressziós kizáráshoz
  • [SPARK-34724] [SQL] Az értelmezett értékelés javítása getMethod használatával a getDeclaredMethod helyett
  • [SPARK-34713] [SQL] Csoport javítása a CreateStruct with ExtractValue használatával
  • [SPARK-34697] [SQL] A DESCRIBE függvény és a FÜGGVÉNYEK MEGJELENÍTÉSE funkció használatának engedélyezése a következőről: || (sztringösszefűzési operátor)
  • [SPARK-34682] [SQL] A PrivateMethodTester használata tükröződés helyett
  • [SPARK-34682] [SQL] Regresszió javítása a canonicalization hibaellenőrzésében a CustomShuffleReaderExecben
  • [SPARK-34681] [SQL] Kijavítottuk a teljes külső elfojtott kivonatillesztés hibáját, ha a bal oldalt nem egyenlő feltétellel építik
  • [SPARK-34545] [SQL] A pyrolite valueCompare funkciójával kapcsolatos problémák megoldása
  • [SPARK-34607] [SQL] [3.1] Hozzáadás Utils.isMemberClass hibásan formázott osztálynévhiba kijavításához a jdk8u-n
  • [SPARK-34596] [SQL] A Utils.getSimpleName használatával elkerülheti, hogy a NewInstance.doGenCode helytelenül formázott osztálynevet használjon
  • [SPARK-34613] [SQL] A fix nézet nem rögzíti a letiltási tipp konfigurációjának rögzítését
  • [SPARK-32924] [WEBUI] Időtartam oszlop létrehozása a fő felhasználói felületen a megfelelő sorrendben
  • [SPARK-34482] [SS] A StreamExecution.logicalPlan aktív SparkSession-jének javítása
  • [SPARK-34567] [SQL] A CreateTableAsSelectnek a metrikákat is frissítenie kell
  • [SPARK-34599] [SQL] Kijavítottuk azt a hibát, amely miatt az INSERT INTO OVERWRITE nem támogatja a DSv2 pontját tartalmazó partícióoszlopokat
  • [SPARK-34577] [SQL] A drop/add columns to a dataset of DESCRIBE NAMESPACE
  • [SPARK-34584] [SQL] A statikus partíciónak a StoreAssignmentPolicy parancsot is követnie kell a v2-táblákba való beszúráskor
  • [SPARK-34555] [SQL] A DataFrame metaadat-kimenetének feloldása
  • [SPARK-34534] BlockIds-sorrend javítása a FetchShuffleBlocks használata blokkok lekéréséhez
  • [SPARK-34547] [SQL] Csak metaadatoszlopok használata végső megoldásként
  • [SPARK-34417] [SQL] org.apache.spark.sql.DataFrameNaFunctions.fillMap nem működik, ha az oszlop neve ponttal rendelkezik
  • [SPARK-34561] [SQL] A v2-es adathalmazból/adathalmazba történő oszlopok elvetésének/hozzáadásának javítása DESCRIBE TABLE
  • [SPARK-34556] [SQL] Az ismétlődő statikus partícióoszlopok ellenőrzésének figyelembe kell vennie a kis- és nagybetűk megkülönböztetett
  • [SPARK-34392] [SQL] A ZoneOffset +h:mm támogatása a DateTimeUtilsben. getZoneId
  • [SPARK-34550] [SQL] Az InSet null értékének kihagyása a Hive metaadattárba való leküldéses szűrő során
  • [SPARK-34543] [SQL] A konfiguráció tiszteletben tartása a spark.sql.caseSensitive partíciós specifikáció feloldása közben az 1-ben SET LOCATION
  • [SPARK-34436] [SQL] A DPP támogatja a LIKE ANY/ALL kifejezést
  • [SPARK-34531] [CORE] Kísérleti API-címke eltávolítása a PrometheusServletben
  • [SPARK-34497] [SQL] Beépített JDBC-kapcsolatszolgáltatók javítása a JVM biztonsági környezet változásainak visszaállításához
  • [SPARK-34515] [SQL] Az NPE javítása, ha az InSet null értéket tartalmaz a getPartitionsByFilter alatt
  • [SPARK-34490] [SQL] Az elemzésnek sikertelennek kell lennie, ha a nézet elvetett táblára hivatkozik
  • [SPARK-34473] [SQL] Az NPE elkerülése a DataFrameReader.schema(StructType) alkalmazásban
  • [SPARK-34384] [CORE] Hiányzó dokumentumok hozzáadása ResourceProfile API-khoz
  • [SPARK-34373] [SQL] A HiveThriftServer2 startWithContext versenyproblémával járhat
  • [SPARK-20977] [CORE] Nem végleges mező használata a CollectionAccumulator állapotához
  • [SPARK-34421] [SQL] Ideiglenes függvények és nézetek feloldása a nézetekben CTE-kkel
  • [SPARK-34431] [CORE] Csak egyszer tölthető be hive-site.xml
  • [SPARK-34405] [CORE] TimersLabels középértékének javítása a PrometheusServlet osztályban
  • [SPARK-33438] [SQL] Objektumok inicializálása a parancshoz definiált SQL Confs használatával set -v
  • [SPARK-34158] Az egyetlen fejlesztő, Matei url-címe helytelen a pom.xml
  • [SPARK-34346] [CORE] [SQL] [3.1] a spark.buffer.size által beállított io.file.buffer.size felülbírálja a hive-site.xml véletlenül perf regressziót okozhat
  • [SPARK-34359] [SQL] [3.1] Adjon hozzá egy örökölt konfigurációt a SHOW DATABASES kimeneti sémájának visszaállításához
  • [SPARK-34331] [SQL] A DS v2 metaadatok col felbontásának felgyorsítása
  • [SPARK-34318] [SQL] [3.1] A Dataset.colRegex oszlopnevekkel és -minősítőkkel kell dolgoznia, amelyek új sorokat tartalmaznak
  • [SPARK-34326] [CORE] [SQL] A SPARK-31793-ban hozzáadott UT-k javítása az ideiglenes elérési út hosszától függően
  • [SPARK-34319] [SQL] A FlatMapCoGroupsInPandas/MapInPandas duplikált attribútumainak feloldása
  • [SPARK-34310] [CORE] [SQL] A térkép cseréje és simítása lapostérképre
  • [SPARK-34083] [SQL] [3.1] A TPCDS eredeti definícióinak használata char/varchar kolumsokhoz
  • [SPARK-34233] [SQL] [3.1] Fix NPE karakterpárnázás bináris összehasonlításban
  • [SPARK-34270] [SS] A StateStoreMetrics kombinálása nem bírálhatja felül a StateStoreCustomMetrict
  • [SPARK-34144] [SQL] Kivétel történt a LocalDate és a Instant értékek JDBC-rel való írásakor
  • [SPARK-34273] [CORE] A SparkContext leállítása esetén ne regisztrálja újra a BlockManagert
  • [SPARK-34262] [SQL] [3.1] A v1-tábla gyorsítótárazott adatainak frissítése a következő helyen: ALTER TABLE .. SET LOCATION
  • [SPARK-34275] [CORE] [SQL] [MLLIB] A szűrőt és a méretet a darabszámra cseréli
  • [SPARK-34260] [SQL] Feloldatlanexception kijavítása ideiglenes nézet kétszeri létrehozásakor
  • [SPARK-33867] [SQL] Az azonnali és a LocalDate értékek nem kezelhetők SQL-lekérdezések létrehozásakor
  • [SPARK-34193] [CORE] TorrentBroadcast blokkkezelő leszerelése race fix
  • [SPARK-34221] [WEBUI] Győződjön meg arról, hogy egy szakasz meghibásodik a felhasználói felületen, a megfelelő hibaüzenet megfelelően jeleníthető meg
  • [SPARK-34236] [SQL] A v2 felülírása w/ null statikus partícióemelés nem tudja lefordítani a kifejezést a forrásszűrőre: null
  • [SPARK-34212] [SQL] A Parquet-fájlok helytelen decimális beolvasásának javítása
  • [SPARK-34244] [SQL] A regexp_extract_all Scala-függvényverziójának eltávolítása
  • [SPARK-34235] [SS] Spark.sql.hive létrehozása privát csomagként
  • [SPARK-34232] [CORE] Redact SparkListenerEnvironmentUpdate esemény a naplóban
  • [SPARK-34229] [SQL] Az Avro-nak be kell olvasnia a decimális értékeket a fájlséma használatával
  • [SPARK-34223] [SQL] NPE javítása null értékű statikus partícióhoz az InsertIntoHadoopFsRelationCommand alkalmazásban
  • [SPARK-34192] [SQL] A karakterpárnázás áthelyezése írási oldalra, és a hosszellenőrzés eltávolítása az olvasási oldalon is
  • [SPARK-34203] [SQL] Partícióértékek __HIVE_DEFAULT_PARTITION__ konvertálása null v1-katalógusba In-Memory
  • [SPARK-33726] [SQL] Javítás ismétlődő mezőnevekhez az összesítés során
  • [SPARK-34133] [AVRO] A kis- és nagybetűk érzékenységének tiszteletben tartása a Catalyst-to-Avro mezőegyeztetés végrehajtásakor
  • [SPARK-34187] [SS] Az eltolás ellenőrzésekor a lekérdezés során kapott elérhető eltolási tartomány használata
  • [SPARK-34052] [SQL] [3.1] a "CACHE TABLE .. AS SELECT ..."
  • [SPARK-34213] [SQL] V1-tábla gyorsítótárazott adatainak frissítése a következőben: LOAD DATA
  • [SPARK-34191] [PYTHON] [SQL] Gépelés hozzáadása az udf túlterheléséhez
  • [SPARK-34200] [SQL] A nem egyértelmű oszlophivatkozásnak figyelembe kell vennie az attribútumok rendelkezésre állását
  • [SPARK-33813] [SQL] [3.1] Kijavítottuk azt a hibát, amely miatt a JDBC-forrás nem tudja kezelni az MS SQL Server térbeli típusait
  • [SPARK-34178] [SQL] A MultiInstanceRelation.newInstance által létrehozott új csomópont címkéinek másolása
  • [SPARK-34005] [CORE] [3.1] A feladat végén lévő egyes végrehajtók memória-csúcsmetrikáinak frissítése
  • [SPARK-34115] [CORE] A lassulás elkerülése érdekében ellenőrizze SPARK_TESTING lusta valként
  • [SPARK-34153] [SQL] [3.1] [3.0] A nem használt getRawTable() adatok eltávolítása HiveExternalCatalog.alterPartitions()
  • [SPARK-34130] [SQL] Impove preformace for char varchar padding and length check with StaticInvoke
  • [SPARK-34027] [SQL] [3.1] Gyorsítótár frissítése ALTER TABLE .. RECOVER PARTITIONS
  • [SPARK-34151] [SQL] Csere erre:java.io.File.toURLjava.io.File.toURI.toURL
  • [SPARK-34140] [SQL] [3.1] QueryCompilationErrors.scala áthelyezése szervezeti/apache/spark/sql/errors
  • [SPARK-34080] [ML] [PYTHON] UnivariateFeatureSelector hozzáadása
  • [SPARK-33790] [CORE] [3.1] A getFileStatus rpc-hívásának csökkentése a SingleFileEventLogFileReaderben
  • [SPARK-34118] [CORE] [SQL] [3.1] Lecseréli a szűrőt, és ellenőrzi, hogy létezik-e vagy nincs-e üresség
  • [SPARK-34114] Az [SQL] nem vágható ki jobbra olvasási oldal karakterhossz-ellenőrzéshez és kitöltéshez
  • [SPARK-34086] [SQL] [3.1] A RaiseError túl sok kódot hoz létre, és sikertelen lehet a kodgen hossza a char varchar keresésekor
  • [SPARK-34075] [SQL] [CORE] A rejtett könyvtárak a partíciókövetkeztetéshez vannak felsorolva
  • [SPARK-34076] [SQL] Az SQLContext.dropTempTable meghiúsul, ha a gyorsítótár nem üres
  • [SPARK-34084] [SQL] [3.1] A táblastatisztikák automatikus frissítésének javítása a következő helyen: ALTER TABLE .. ADD PARTITION
  • [SPARK-34090] [SS] Cache HadoopDelegationTokenManager.isServiceEnabled eredmény a KafkaTokenUtil.needTokenUpdate alkalmazásban
  • [SPARK-34069] [CORE] Az akadálymentesítési feladatoknak tiszteletben kell tartaniuk SPARK_JOB_INTERRUPT_ON_CANCEL
  • [SPARK-34091] [SQL] Az shuffle batch fetch funkciónak le kell tudnia tiltani, miután engedélyezve lett
  • [SPARK-34059] [SQL] [CORE] [3.1] A leképezés helyett használjon for/foreach függvényt, hogy biztosan hajtsa végre lelkesen
  • [SPARK-34002] [SQL] Kódoló használatának javítása a ScalaUDF-ben
  • [SPARK-34060] [SQL] [3.1] A Hive-tábla gyorsítótárazásának javítása a statisztikák frissítése során ALTER TABLE .. DROP PARTITION
  • [SPARK-31952] [SQL] Helytelen memóriakiömlési metrika javítása összesítés közben
  • [SPARK-33591] [SQL] [3.1] A partícióspektratív értékek felismerése null
  • [SPARK-34055] [SQL] [3.1] Gyorsítótár frissítése ALTER TABLE .. ADD PARTITION
  • [SPARK-34039] [SQL] [3.1] A Cseretáblának érvénytelenítenie kell a gyorsítótárat
  • [SPARK-34003] [SQL] Szabályütközések javítása a PaddingAndLengthCheckForCharVarchar és a ResolveAggregateFunctions között
  • [SPARK-33938] [SQL] [3.1] A LikeSimplification mindenhez hasonló optimalizálása
  • [SPARK-34021] [R] Hyper-hivatkozások javítása a SparkR crAN-beküldési dokumentációjában
  • [SPARK-34011] [SQL] [3.1] [3.0] Gyorsítótár frissítése ALTER TABLE .. RENAME TO PARTITION
  • [SPARK-33948] [SQL] A MapObjects.doGenCode metódus CodeGen-hibájának javítása a Scala 2.13-ban
  • [SPARK-33635] [SS] A KafkaTokenUtil.needTokenUpdate ellenőrzés sorrendjének módosítása a perf regresszió orvoslásához
  • [SPARK-33029] [CORE] [WEBUI] Javítsa ki a felhasználói felület végrehajtó oldalát, amely helytelenül jelöli meg az illesztőprogramot kizártként
  • [SPARK-34015] [R] A bemeneti időzítés javítása a gapplyben
  • [SPARK-34012] [SQL] A konzisztens viselkedés megtartása, ha a konföderáció spark.sql.legacy.parser.havingWithoutGroupByAsWhere igaz a migrálási útmutatóval
  • [SPARK-33844] [SQL] [3.1] Az InsertIntoHiveDir parancsnak a col nevét is ellenőriznie kell
  • [SPARK-33935] [SQL] CBO költségfüggvény javítása
  • [SPARK-33100] [SQL] Zárójeles megjegyzés pontosvesszőjének figyelmen kívül hagyása a Spark-SQL-ben
  • [SPARK-34000] [CORE] A stageAttemptToNumSpeculativeTasks java.util.NoSuchElementException javítása
  • [SPARK-33992] [SQL] felülbírálás transformUpWithNewOutput az allowInvokingTransformsInAnalyzer hozzáadásához
  • [SPARK-33894] [SQL] A Scala 2.13-ban a futtatókörnyezeti fordítási hibák elkerülése érdekében módosítsa az mllib privát esetosztályainak láthatóságát
  • [SPARK-33950] [SQL] [3.1] [3.0] Gyorsítótár frissítése az 1-ben ALTER TABLE .. DROP PARTITION
  • [SPARK-33980] [SS] Karakter/varchar érvénytelenítése a spark.readStream.schema fájlban
  • [SPARK-33945] [SQL] [3.1] Egy kifából álló véletlenszerű magot kezel
  • [SPARK-33398] Famodellek betöltése a Spark 3.0 előtt
  • [SPARK-33963] [SQL] A w/o tábla statisztikáinak canonicalizálása HiveTableRelation
  • [SPARK-33906] [WEBUI] A felhasználói felület végrehajtó oldalának a nem definiált peakMemoryMetrics miatt elakadt hibájának kijavítása
  • [SPARK-33944] [SQL] Helytelen naplózás a SharedState-beállításokban lévő raktárkulcsokhoz
  • [SPARK-33936] [SQL] [3.1] Adja hozzá a verziót az összekötő interfészeinek hozzáadásakor
  • [SPARK-33916] [CORE] Tartalék tároló eltolásának javítása és a tömörítési kodek tesztelési lefedettségének javítása
  • [SPARK-33899] [SQL] [3.1] Az állítási hiba javítása az 1. v1-ben: TÁBLÁK/NÉZETEK megjelenítése a következőn: spark_catalog
  • [SPARK-33901] [SQL] Karakter- és Varchar-megjelenítési hiba kijavítása A DLL-ek után
  • [SPARK-33897] [SQL] A "kereszt" beállítás nem állítható be az illesztési metódusban
  • [SPARK-33907] [SQL] [3.1] Csak a JsonToStructs oszlopainak metszése, ha az elemzési lehetőségek üresek
  • [SPARK-33621] [SPARK-33784] [SQL][3.1] Adatforrás újraírási szabályainak beszúrása
  • [SPARK-33900] [WEBUI] A shuffle olvasási méretének /rekordjainak helyes megjelenítése, ha csak a remotebytesread érhető el
  • [SPARK-33892] [SQL] Karakter/varchar megjelenítése a DESC-ben és a CREATE TABLE megjelenítése
  • [SPARK-33895] [SQL] Char és Varchar fail in MetaOperation of ThriftServer
  • [SPARK-33659] [SS] A DataStreamWriter.toTable API aktuális viselkedésének dokumentálása
  • [SPARK-33893] [CORE] Tartalék blokkkezelő kizárása a végrehajtólistáról
  • [SPARK-33277] [PYSPARK] [SQL] A Tevékenység befejezése után a ContextAwareIterator használatával leállítja a használatot
  • [SPARK-33889] [SQL] [3.1] Az NPE javítása v2-táblákból SHOW PARTITIONS
  • [SPARK-33879] [SQL] A Char Varchar értékei nem egyeznek a partícióoszlopokkal
  • [SPARK-33877] [SQL] SQL-referenciadokumentumok az INSERT w/ a column listához
  • [SPARK-33876] [SQL] Karakter/varchar olvasási karakter hozzáadása külső helyről származó táblákból
  • [SPARK-33846] [SQL] Beágyazott séma megjegyzéseinek belefoglalása a StructType.toDDL-be
  • [SPARK-33860] [SQL] A CatalystTypeConverters.convertToCatalyst beállítása speciális tömbértéknek
  • [SPARK-33834] [SQL] Az ALTER TABLE CHANGE COLUMN ellenőrzése Karakter és Varchar használatával
  • [SPARK-33853] [SQL] A EXPLAIN CODEGEN és a BenchmarkQueryTest nem jeleníti meg az alquery kódot
  • [SPARK-33836] [SS] [PYTHON] A DataStreamReader.table és a DataStreamWriter.toTable felfedés
  • [SPARK-33829] [SQL] [3.1] A v2-táblák átnevezésének újra létre kell hoznia a gyorsítótárat
  • [SPARK-33756] [SQL] A BytesToBytesMap MapIterator idempotensének létrehozása
  • [SPARK-33850] [SQL] A EXPLAIN FORMATTED nem jeleníti meg az allekérdezések tervét, ha az AQE engedélyezve van
  • [SPARK-33841] [CORE] [3.1] Kijavítottuk azokat a problémákat, amikor a feladatok időnként eltűnnek az SHS-ből nagy terhelés mellett
  • [SPARK-33593] [SQL] A vektorolvasó helytelen adatokat kapott bináris partícióértékkel
  • [SPARK-26341] [WEBUI] A végrehajtó memóriametrikáinak megjelenítése a szakasz szintjén, a Szakaszok lapon
  • [SPARK-33831] [Felhasználói felület] Frissítés a jetty 9.4.34-hez
  • [SPARK-33822] [SQL] A metódus használata a CastSupport.cast HashJoinban
  • [SPARK-33774] [Felhasználói felület] [CORE] Vissza a mesteralakzathoz" 500-os hibát ad vissza az önálló fürtben
  • [SPARK-26199] [SPARK-31517] [R] Fix stratégia kezelésére ... a mutációban szereplő nevek
  • [SPARK-33819] [CORE] [3.1] SingleFileEventLogFileReader/RollingEventLogFilesFileReader package private
  • [SPARK-33697] [SQL] A RemoveRedundantProjects függvénynek alapértelmezés szerint oszloprendezést kell igényelnie
  • [SPARK-33752] [SQL] [3.1] Kerülje az AnalysisException getSimpleMessage elemét, amely ismételten pontosvesszőt ad hozzá
  • [SPARK-33788] [SQL] [3.1] [3.0] [2.4] Throw NoSuchPartitionsException from HiveExternalCatalog.dropPartitions()
  • [SPARK-33803] [SQL] Táblázattulajdonságok rendezése kulcs szerint a DESCRIBE TABLE parancsban
  • [SPARK-33786] [SQL] A gyorsítótár tárolási szintjét a táblanév módosításakor figyelembe kell venni
  • [SPARK-33273] [SQL] Versenyállapot javítása a részérdekű végrehajtás során
  • [SPARK-33653] [SQL] [3.1] DSv2: A REFRESH TABLE visszafedi magát a táblát
  • [SPARK-33777] [SQL] V2 SHOW PARTITIONS kimenetének rendezése
  • [SPARK-33733] [SQL] A PullOutNondeterministicnak ellenőriznie kell és be kell gyűjtenie a determinisztikus mezőt
  • [SPARK-33764] [SS] Állapottár karbantartási időközének beállítása SQL-konfigurációként
  • [SPARK-33729] [SQL] A gyorsítótár frissítésekor a Spark nem használhat gyorsítótárazott csomagot az adatok újrakonfigurálásakor
  • [SPARK-33742] [SQL] [3.1] Throw PartitionsAlreadyExistException from HiveExternalCatalog.createPartitions()
  • [SPARK-33706] [SQL] Teljes partícióazonosító megkövetelése a partitionExists() alkalmazásban
  • [SPARK-33740] [SQL] hadoop-konfigurációk hive-site.xml felülbírálhatják a már meglévő hadoop-konfigurációkat
  • [SPARK-33692] [SQL] A nézetnek rögzített katalógust és névteret kell használnia a keresési függvényhez
  • [SPARK-33669] Hibás hibaüzenet a YARN alkalmazásállapot-figyelőjéből, ha sc.stop a Yarn ügyfélmódban
  • [SPARK-32110] [SQL] normalizálja a speciális lebegő számokat a HyperLogLog++ alkalmazásban
  • [SPARK-33677] [SQL] A LikeSimplification szabály kihagyása, ha a minta tartalmaz escapeChar értéket
  • [SPARK-33693] [SQL] elavult spark.sql.hive.convertCTAS
  • [SPARK-33641] [SQL] Érvényteleníti a helytelen eredményeket eredményező új karakter-/varchar-típusokat a nyilvános API-kban
  • [SPARK-32680] [SQL] Ne dolgozza fel a V2 CTAS-t megoldatlan lekérdezéssel
  • [SPARK-33676] [SQL] A partíciós specifikáció pontos egyeztetésének megkövetelése a V2 sémával ALTER TABLE .. ADD/DROP PARTITION
  • [SPARK-33670] [SQL] Ellenőrizze, hogy a partíciószolgáltató Hive-e a BŐVÍTETT 1. megjelenítési táblában
  • [SPARK-33663] [SQL] A gyorsítótárazást nem szabad meghívni nem létező ideiglenes nézeteken
  • [SPARK-33667] [SQL] A konfiguráció tiszteletben tartása a spark.sql.caseSensitive partíciós specifikáció feloldása közben az 1-ben SHOW PARTITIONS
  • [SPARK-33652] [SQL] DSv2: A DeleteFromnak frissítenie kell a gyorsítótárat

Karbantartási frissítések

Lásd a Databricks Runtime 9.0 karbantartási frissítéseit.

Rendszerkörnyezet

  • Operációs rendszer: Ubuntu 20.04.2 LTS
  • Java: Zulu 8.54.0.21-CA-linux64
  • Scala: 2.12.10
  • Python: 3.8.10
  • R: 4.1.0 (2021-05-18)
  • Delta Lake 1.0.0

Telepített Python-kódtárak

Könyvtár Verzió Könyvtár Verzió Könyvtár Verzió
Antergos Linux 2015.10 (ISO-rolling) appdirs 1.4.4 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 minősítés 2020.12.5
karakterkészlet 4.0.0 biciklista 0.10.0 Cython 0.29.23
dbus-python 1.2.16 lakberendező 5.0.6 distlib 0.3.2
distro-info 0,23ubuntu1 aspektusok áttekintése 1.0.0 filelock 3.0.12
idna 2.10 ipykernel 5.3.4 ipython 7.22.0
ipython-genutils 0.2.0 jedi 0.17.2 jmespath 0.10.0
joblib 1.0.1 jupyter-client 6.1.12 jupyter-core 4.7.1
kiwisolver 1.3.1 Koalák 1.8.1 matplotlib 3.4.2
numpy 1.19.2 pandas 1.2.4 parso 0.7.0
Patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
Párna 8.2.0 mag 21.0.1 ábrázolás 4.14.3
prompt-toolkit 3.0.17 protobuf 3.17.2 psycopg2 2.8.5
ptyprocess 0.7.0 pyarrow 4.0.0 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 python-apt 2.0.0+ubuntu0.20.4.5
python-dateutil 2.8.1 pytz 2020.5 pyzmq 20.0.0
kérelmek 2.25.1 requests-unixsocket 0.2.0 Újrapróbálkozás… 1.3.3
s3transfer 0.3.7 scikit-learn 0.24.1 scipy 1.6.2
tengeri 0.11.1 setuptools 52.0.0 Hat 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 threadpoolctl 2.1.0
tornádó 6.1 árulók 5.0.5 felügyelet nélküli frissítések 0,1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
kerék 0.36.2

Telepített R-kódtárak

Az R-kódtárak a Microsoft CRAN-pillanatképből vannak telepítve 2021.07.28-án.

Könyvtár Verzió Könyvtár Verzió Könyvtár Verzió
askpass 1,1 assertthat 0.2.1 backports 1.2.1
alap 4.1.0 base64enc 0.1-3 BH 1.72.0-3
bit 4.0.4 bit64 4.0.5 blob 1.2.1
indítás 1.3-28 főz 1.0-6 Brio 1.1.0
seprű 0.7.2 hívó 3.5.1 kalap 6.0-86
cellranger 1.1.0 chron 2.3-56 osztály 7.3-19
Cli 2.2.0 clipr 0.7.1 fürt 2.1.2
kódtoolok 0.2-18 színtér 2.0-0 commonmark 1,7
fordítóprogram 4.1.0 config 0.3 covr 3.5.1
cpp11 0.2.4 zsírkréta 1.3.4 hitelesítő adatok 1.3.0
Ellenvélemények 1.1.0.1 csavarodik 4.3 data.table 1.13.4
adatkészletek 4.1.0 DBI 1.1.0 dbplyr 2.0.0
Desc 1.2.0 devtools 2.3.2 diffobj 0.3.2
emészt 0.6.27 dplyr 1.0.2 DT 0,16
három pont 0.3.1 evaluate 0,14 fani 0.4.1
farver 2.0.3 gyorstérkép 1.0.1 forcats 0.5.0
foreach 1.5.1 külföldi 0.8-81 kovácsol 0.2.0
Fs 1.5.0 jövő 1.21.0 Generikus 0.1.0
Gert 1.0.2 ggplot2 3.3.2 Gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 globális 0.14.0
ragasztó 1.4.2 Gower 0.2.2 grafika 4.1.0
grDevices 4.1.0 rács 4.1.0 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 kikötő 2.3.1
highr 0,8 Hms 0.5.3 htmltoolok 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 izoband 0.2.3 iterátorok 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-20 knitr 1,30
címkézés 0.4.2 később 1.1.0.1 rács 0.20-44
láva 1.6.8.1 lazyeval 0.2.2 életciklus 0.2.0
figyelő 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
markdown 1,1 TÖMEG 7.3-54 Mátrix 1.3-4
memoise 1.1.0 metódusok 4.1.0 mgcv 1.8-36
MIME 0,9 ModelMetrics 1.2.2.2 modellező 0.1.8
munsell 0.5.0 nlme 3.1-152 nnet 7.3-16
numDeriv 2016.8-1.1 openssl 1.4.3 parallel 4.1.0
párhuzamosan 1.22.0 pillér 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
rétegelt 1.8.6 dicséret 1.0.0 prettyunits 1.1.1
Proc 1.16.2 processx 3.4.5 prodlim 2019.11.13
haladás 1.2.2 Ígér 1.1.1 Proto 1.0.0
Ps 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
olvasó 1.4.0 readxl 1.3.1 receptek 0.1.15
Visszavágót 1.0.1 visszavágó2 2.1.2 Távirányító 2.2.0
reprex 0.3.0 újraformázás2 1.4.4 Rex 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-8 RSQLite 2.2.1 rstudioapi 0,13
rversions 2.0.2 rvest 0.3.6 mérleg 1.1.1
választó 0.4-2 sessioninfo 1.1.1 alak 1.4.5
Fényes 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.1 térbeli 7.3-11 splines 4.1.0
sqldf 0.4-11 NÉGYZET 2020.5 statisztika 4.1.0
statisztikák4 4.1.0 stringi 1.5.3 sztring 1.4.0
túlélés 3.2-11 sys 3.4 tcltk 4.1.0
TeachingDemos 2.10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
timeDate 3043.102 tinytex 0,28 eszközök 4.1.0
usethis 2.0.0 utf8 1.1.4 eszközök 4.1.0
uuid 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
Waldo 0.2.3 bajusz 0,4 withr 2.3.0
xfun 0.19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 fütyülés 2.1.1

Telepített Java- és Scala-kódtárak (Scala 2.12-fürtverzió)

Csoportazonosító Összetevő azonosítója Verzió
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-marketplacecommerceanalytics 1.11.655
com.amazonaws aws-java-sdk-marketplacemeteringservice 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics patak 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml osztálytárs 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.koffein koffein 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natívok 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natívok 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava gujávafa 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1,2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2,4
commons-lang commons-lang 2.6
commons-naplózás commons-naplózás 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
hive-2.3__hadoop-2.7 jets3t-0.7 liball_deps_2.12
hive-2.3__hadoop-2.7 zookeeper-3.4 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.delta delta-sharing-spark_2.12 0.1.0
io.dropwizard.metrics metrikamag 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx gyűjtő 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktiválás 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-fák hive-2.3__hadoop-2.7 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow nyílformátum 2.0.0
org.apache.arrow nyíl-memóriamag 2.0.0
org.apache.arrow nyíl-memória-netty 2.0.0
org.apache.arrow nyíl-vektor 2.0.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1,20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3,10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator kurátor-ügyfél 2.7.1
org.apache.curator kurátor-keretrendszer 2.7.1
org.apache.curator kurátor-receptek 2.7.1
org.apache.derby keménykalap 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-inkubálás
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy borostyán 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shims 1.5.12
org.apache.parquet parquet-column 1.10.1-databricks9
org.apache.parquet parquet-common 1.10.1-databricks9
org.apache.parquet parquet-kódolás 1.10.1-databricks9
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks9
org.apache.parquet parquet-jackson 1.10.1-databricks9
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus célközönség-széljegyzetek 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.36.v20210114
org.eclipse.jetty móló-folytatás 9.4.36.v20210114
org.eclipse.jetty jetty-http 9.4.36.v20210114
org.eclipse.jetty jetty-io 9.4.36.v20210114
org.eclipse.jetty jetty-jndi 9.4.36.v20210114
org.eclipse.jetty móló plusz 9.4.36.v20210114
org.eclipse.jetty jetty-proxy 9.4.36.v20210114
org.eclipse.jetty jetty-security 9.4.36.v20210114
org.eclipse.jetty jetty-server 9.4.36.v20210114
org.eclipse.jetty jetty-servlet 9.4.36.v20210114
org.eclipse.jetty jetty-servlets 9.4.36.v20210114
org.eclipse.jetty jetty-util 9.4.36.v20210114
org.eclipse.jetty jetty-util-ajax 9.4.36.v20210114
org.eclipse.jetty jetty-webapp 9.4.36.v20210114
org.eclipse.jetty jetty-xml 9.4.36.v20210114
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-lokátor 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Végleges
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap Alátéteket 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt teszt-interfész 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark Használatlan 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework rugós teszt 4.1.4.RELEASE
org.threeten három-extra 1.5.0
org.tukaani xz 1,5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel makró-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0,52