Databricks Runtime 9.0 (nem támogatott)

  • Cikk

Az alábbi kibocsátási megjegyzések az Apache Spark 3.1.2-es verzióján alapuló Databricks Runtime 9.0-s és Databricks Runtime 9.0 Photon-ről nyújtanak információkat. A Databricks 2021 augusztusában adta ki ezeket a képeket. A Photonnyilvános előzetes verzióban érhető el.

Korrekció

A kibocsátási megjegyzések korábbi verziója helytelenül állította, hogy az Apache Parquet függőségei 1.10-ről 1.12-re frissültek. A Parquet-függőségek valójában az 1.10-es verziónál maradnak. A helytelen kiadási megjegyzés el lett távolítva.

Új funkciók és Újdonságok

Új API az adathalmazok összesített statisztikáihoz (nyilvános előzetes verzió)

A Databricks Utilities új dbutils.data.summarize parancsával elindíthat egy Spark-feladatot, amely automatikusan kiszámítja a Spark DataFrame oszlopainak összesített statisztikáit, majd interaktívan megjeleníti az eredményeket. Ez a függvény a Scalában és a Pythonban érhető el. Lásd: Adat segédprogram (dbutils.data).

Egyszerűbb külső adatforrás-konfiguráció az Azure Synapse-összekötőhöz

Az adatok lekérdezése az Azure Synapse Analytics-összekötőben új externalDataSource lehetőség lehetővé teszi, hogy előre kiépített külső adatforrást használjon egy Azure Synapse-adatbázisból való olvasáshoz. A externalDataSource beállítás eltávolítja a korábban szükséges engedély szükségességét CONTROL .

A beállításkor externalDataSourcea külső adatforrásnak és az tempDir ideiglenes tárolás konfigurálására használt beállításnak ugyanarra a tárolóra kell hivatkoznia a tárfiókban.

A munkamenetet az Amazon Redshift-összekötő megadott időtartamára is korlátozhatja.

A _ összekötő új fs.s3a.assumed.role.session.duration lehetősége lehetővé teszi a munkamenet időtartamának opcionális beállítását, amikor a Redshift egy feltételezett szerepkörrel fér hozzá az ideiglenes S3-gyűjtőhöz.

Automatikus betöltő

Optimalizált fájllista

Az automatikus betöltőoptimalizálások teljesítménybeli fejlesztéseket és költségmegtakarítást biztosítanak a beágyazott címtárak felhőbeli tárolók, például az AWS S3, a Azure Data Lake Storage Gen2 (ADLS Gen2) és a Google Cloud Storage (GCS) listázásakor.

Ha például a fájlokat a néven töltötte fel /some/path/YYYY/MM/DD/HH/fileName, hogy megtalálja az ezekben a könyvtárakban lévő összes fájlt, az Automatikus betöltő az összes alkönyvtár párhuzamos felsorolását használta, ami 365 (naponta) * 24 (óránként) = 8760 LIST API-címtár hívja meg az alapul szolgáló tárat minden évben. Ezeknek a tárolórendszereknek az egybesimított válaszával az Automatikus betöltő csökkenti a tárolórendszerben lévő fájlok számára irányuló API-hívások számát az egyes API-hívások által visszaadott eredmények számával (S3 esetén 1000, ADLS Gen2 esetén 5000, GCS esetén 1024), ami jelentősen csökkenti a felhőköltségeket.

Optimalizált képadattár

Az automatikus betöltő mostantól képes automatikusan észlelni a betöltött képadatokat, és optimalizálni a Delta-táblákban tárolt tárhelyet az olvasási és írási teljesítmény javítása érdekében. Lásd: Kép vagy bináris adatok betöltése a Delta Lake for ML-be.

Bináris fájlok képminiatűrjei (nyilvános előzetes verzió)

binaryFile Az automatikus betöltő használatával Delta-táblázatként betöltött vagy mentett képekhez széljegyzetek vannak csatolva, így a képek miniatűrjei megjelennek, amikor a táblázatot egy Azure Databricks-jegyzetfüzetben jeleníti meg. További információ: Képek.

DirectoryRename események lehetővé teszik több fájl atomi feldolgozását

A Databricks Runtime 9.0-s és újabb verziókban létrehozott automatikus betöltőstreamek Azure Data Lake Storage Gen2 fájlesemény-értesítéseket állíthatnak be, hogy tartalmazzák a címtárak átnevezését és az események figyelésétRenameDirectory. A címtár-átnevezésekkel több fájl is megjeleníthető atomi módon az Automatikus betöltőben.

SQL

Oszlopok kizárása ( SELECT * nyilvános előzetes verzió)

SELECT * Mostantól támogatja a kulcsszót EXCEPT , amely lehetővé teszi a megadott legfelső szintű oszlopok kizárását a bővítésből. Például SELECT * EXCEPT (b) FROM tbl egy sémát (a, b, c) tartalmazó táblából a következőre bővül: (a, c).

SQL skaláris függvények (nyilvános előzetes verzió)

CREATE FUNCTION mostantól támogatja az SQL skaláris függvényeket. Létrehozhat olyan skaláris függvényeket, amelyek argumentumokat vesznek fel, és egyetlen skaláris típusú értéket ad vissza. Az SQL-függvény törzse bármilyen kifejezés lehet. Példa:

CREATE FUNCTION square(x DOUBLE) RETURNS DOUBLE RETURN x * x;
SELECT square(2);

Részletekért lásd: CREATE FÜGGVÉNY.

Előző aliasok és oszlopok hivatkozása a segéd lekérdezésekben FROM (nyilvános előzetes verzió)

A lekérdezés záradékában szereplő FROM részbekérdezéseket most már megelőzheti a LATERAL kulcsszó, amely lehetővé teszi számukra, hogy az előző FROM elemek aliasaira és oszlopaira hivatkozzon. Példa:

SELECT * FROM t1, LATERAL (SELECT * FROM t2 WHERE t1.c1 = t2.c1)

A LATERAL kulcsszó támogatja a INNER, CROSSa és LEFT (OUTER) JOINa parancsot.

Lásd: Paraméterek és paraméterek.

R-támogatás

Jegyzetfüzet-hatókörű R-kódtárak (nyilvános előzetes verzió)

A jegyzetfüzet-hatókörű kódtárak lehetővé teszik a tárak telepítését és egy jegyzetfüzet-munkamenetre kiterjedő környezet létrehozását. Ezek a kódtárak nincsenek hatással az ugyanazon a fürtön futó más jegyzetfüzetekre. A kódtárak az illesztőprogram és a feldolgozó csomópontokon is elérhetők, így a felhasználó által definiált függvényekben hivatkozhat rájuk. Lásd : Jegyzetfüzet-hatókörű R-kódtárak.

Figyelmeztető üzenetek R-jegyzetfüzetekben

A beállítás alapértelmezett értéke warn mostantól 1-re van állítva az R-jegyzetfüzetekben. Ennek eredményeképpen az összes figyelmeztetés megjelenik a parancs eredményének részeként. A beállításról további információt a warnBeállítások beállításai című témakörben talál.

Kerülje az ismételt végrehajtást a strukturált streamelés állapotalapú feldolgozásának kezdeti állapotának megadásával

Mostantól megadhat egy felhasználó által meghatározott kezdeti állapotot a strukturált streamelési állapotalapú feldolgozáshoz az operátor használatával [flat]MapGroupsWithState .

Lásd: A mapGroupsWithState kezdeti állapotának megadása.

Már elérhető a Delta MERGE INTO parancs alacsony elosztású implementációja (nyilvános előzetes verzió)

A Delta MERGE INTO parancs egy új implementációval rendelkezik, amely csökkenti a módosítatlan sorok elosztását. Ez javítja a parancs teljesítményét, és segít megőrizni a táblán meglévő fürtözést, például a Z-rendezést. Az alacsony sorrendű egyesítés engedélyezéséhez állítsa a következőre spark.databricks.delta.merge.enableLowShuffle : true. Lásd: Alacsony elosztású egyesítés az Azure Databricksben.

Hibajavítások

  • Többé nem írhatja felül a nézetet, ha ugyanazzal a névvel hoz létre nézetet.

Könyvtárfrissítések

  • Frissített Python-kódtárak:
    • minősítés 2021.5.30-tól 2020.12.5-ig
    • chardet 3.0.4 és 4.0.0 között
    • Cython 0.29.21-től 0.29.23-ig
    • dekorátor 4.4.2 és 5.0.6 között
    • ipython 7.19.0 és 7.22.0 között
    • joblib 0.17.0 és 1.0.1 között
    • jupyter-client 6.1.7 és 6.1.12 között
    • jupyter-core 4.6.3 és 4.7.1 között
    • kiwisolver 1.3.0 és 1.3.1 között
    • matplotlib 3.2.2 és 3.4.2 között
    • pandas 1.1.5 és 1.2.4 között
    • pip 20.2.4 és 21.0.1 között
    • prompt-toolkit 3.0.8 és 3.0.17 között
    • protobuf 3.17.3 és 3.17.2 között
    • ptyprocess 0.6.0 és 0.7.0 között
    • pyarrow 1.0.1 és 4.0.0 között
    • 2.7.2–2.8.1.
    • pyzmq 19.0.2 és 20.0.0 között
    • 2.24.0 és 2.25.1 közötti kérések
    • s3transfer 0.3.6 és 0.3.7 között
    • scikit-learn 0.23.2 és 0.24.1 között
    • scipy 1.5.2 és 1.6.2 között
    • tengeri 0.10.0 és 0.11.1 között
    • setuptools from 50.3.1 to 52.0.0
    • statsmodels from 0.12.0 to 0.12.2
    • tornádó 6.0.4 és 6.1 között
    • virtualenv 20.2.1 és 20.4.1 között
    • 0,35.1 és 0.36.2 közötti kerék
  • Frissített R-kódtárak:
    • Mátrix 1,3-3 és 1,3-4 között

Apache Spark

A Databricks Runtime 9.0 tartalmazza az Apache Spark 3.1.2-t. Ez a kiadás tartalmazza a Databricks Runtime 8.4 (nem támogatott) összes Spark-javítását és fejlesztését, valamint a Spark következő további hibajavításait és fejlesztéseit:

  • [SPARK-35886] [SQL][3.1] A PromotePrecision nem írhatja felül a genCodePromotePrecision parancsot, és nem írhatja felül a genCode-ot
  • [SPARK-35879] [CORE][SHUFFLE] A collectFetchRequests által okozott teljesítményregresszió javítása
  • [SPARK-35817] [SQL][3.1] Lekérdezések teljesítményének visszaállítása széles Avro-táblákon
  • [SPARK-35841] [SQL] A sztring decimális típusra történő átírása nem működik, ha a...
  • [SPARK-35783] [SQL] Állítsa be az olvasási oszlopok listáját a feladatkonfigurációban az ORC-adatok olvasásának csökkentése érdekében
  • [SPARK-35576] [SQL][3.1] A bizalmas adatok újrakonfigurálása a Set parancs eredményében
  • [SPARK-35449] [SQL][3.1] Csak a CaseWhen értékekből nyer ki gyakori kifejezéseket, ha az elseValue be van állítva
  • [SPARK-35288] [SQL] A StaticInvoke-nak pontos argumentumosztályok nélkül kell megkeresnie a metódust
  • [SPARK-34794] [SQL] Lambda változónévvel kapcsolatos problémák megoldása beágyazott DataFrame-függvényekben
  • [SPARK-35278] [SQL] Az Invoke metódusnak a megfelelő számú paraméterrel kell megkeresnie a metódust
  • [SPARK-35226] [SQL] A refreshKrb5Config beállítás támogatása JDBC-adatforrásokban
  • [SPARK-35244] [SQL] Az meghívásnak az eredeti kivételt kell eredményeznie
  • [SPARK-35213] [SQL] A beágyazott szerkezetek helyes sorrendjének megtartása aField-műveletekkel összekapcsolva
  • [SPARK-35087] [UI] A szakaszrészletlap végrehajtója által összesített metrikák tábla egyes oszlopai helytelenül jelennek meg.
  • [SPARK-35168] [SQL] mapred.reduce.tasks kell shuffle.partitions not adaptive.coalescePartitions.initialPartitionNum
  • [SPARK-35127] [felhasználói felület] Amikor váltunk a különböző szakaszrészletes lapok között, az újonnan megnyitott lap bejegyzéseleme üres lehet
  • [SPARK-35142] [PYTHON][ML] Helytelen visszatérési rawPredictionUDF típus javítása OneVsRestModel
  • [SPARK-35096] [SQL] A sémafuttatásnak meg kell felelnie a spark.sql.caseSensitive konfigurációnak
  • [SPARK-34639] [SQL][3.1] A RelationalGroupedDataset.alias nem hozhat létre feloldatlanAliast
  • [SPARK-35080] [SQL] Csak a korrelált egyenlőségi predikátumok egy részhalmazának engedélyezése al lekérdezések összesítésekor
  • [SPARK-35117] [Felhasználói felület] Módosítsa vissza az állapotjelző sávot a folyamatban lévő tevékenységek kiemelési arányára
  • [SPARK-35136] A LiveStage.info kezdeti null értékének eltávolítása
  • [SPARK-34834] [NETWORK] Lehetséges Netty memóriavesztés javítása a TransportResponseHandlerben
  • [SPARK-35045] [SQL] Belső beállítás hozzáadása a bemeneti puffer egyedi szabályozásához
  • [SPARK-35014] Kijavítottuk a PhysicalAggregation mintát, hogy ne írja át az összecsukható kifejezéseket
  • [SPARK-35019] [PYTHON][SQL] A pyspark.sql típuseltéréseinek javítása
  • [SPARK-34926] [SQL][3.1] PartitioningUtils.getPathFragment() figyelembe kell vennie a null értékű partíciót
  • [SPARK-34630] [PYTHON] Typehint hozzáadása a pysparkhoz. Változat
  • [SPARK-34963] [SQL] Kijavítottuk a beágyazott oszlopmetszetet a kis- és nagybetűket nem megkülönböztető szerkezetmezők szerkezettömbből való kinyerése során
  • [SPARK-34988] [CORE][3.1] Upgrade Jetty for CVE-2021-28165
  • [SPARK-34922] [SQL][3.1] Relatív költség-összehasonlító függvény használata a CBO-ban
  • [SPARK-34970] [SQL][SECURITY][3.1] Redact map-type options in the output of explain()
  • [SPARK-34923] [SQL] A metaadatok kimenetének üresnek kell lennie további csomagokhoz
  • [SPARK-34949] [CORE] Megakadályozza a BlockManager újraregisztrálását a végrehajtó leállításakor
  • [SPARK-34939] [CORE] Beolvasási hiba kivétele, ha nem lehet deszerializálni a közvetített térképállapotokat
  • [SPARK-34909] [SQL] Ki lett javítva a negatív konvertálása aláíratlanra konvergensre()
  • [SPARK-34845] [CORE] ProcfsMetricsGetter nem ad vissza részleges procfs-metrikákat
  • [SPARK-34814] [SQL] A LikeSimplificationnek a NULL értéket kell kezelnie
  • [SPARK-34876] [SQL] A nem null értékű összesítések alapértelmezett értékének kitöltése
  • [SPARK-34829] [SQL] Magasabb sorrendű függvényeredmények javítása
  • [SPARK-34840] [SHUFFLE] Kijavítja az egyesített elosztásban előforduló sérülési eseteket...
  • [SPARK-34833] [SQL] A korrelált albekérdezések esetében helyesen alkalmazza a jobb oldali kitöltést
  • [SPARK-34630] [PYTHON][SQL] Typehint hozzáadva a pyspark.sql.Column.contains fájlhoz
  • [SPARK-34763] [SQL] col(), $"" és df("name") megfelelően kell kezelnie az idézett oszlopneveket
  • [SPARK-33482][SPARK-34756] [SQL] Fájlegyenlőség-ellenőrzés javítása
  • [SPARK-34790] [CORE] Tiltsa le az elosztási blokkok beolvasását a kötegben, ha az io-titkosítás engedélyezve van
  • [SPARK-34803] [PYSPARK] Adja át a létrehozott ImportErrort, ha a pandas vagy a pyarrow nem importálható
  • [SPARK-34225] [CORE] Ne kódoljon tovább, ha URI-űrlapsztringet ad át az addFile vagy az addJar fájlnak
  • [SPARK-34811] [CORE] Redact fs.s3a.access.key, például titkos kód és jogkivonat
  • [SPARK-34796] [SQL][3.1] Számlálóváltozó inicializálása a limit code-gen függvényhez a doProduce() alkalmazásban
  • [SPARK-34128] [SQL] A THRIFT-4805-ben előforduló nemkívánatos TTransportException figyelmeztetések mellőzése
  • [SPARK-34776] [SQL] A beágyazott oszlop metszése nem metsző ablak által előállított attribútumokat
  • [SPARK-34087] [3.1][SQL] A ExecutionListenerBus memóriavesztésének javítása
  • [SPARK-34772] [SQL] RebaseDateTime loadRebaseRecords a Spark classloadert kell használnia a környezet helyett
  • [SPARK-34719] [SQL][3.1] A nézet lekérdezésének helyes feloldása ismétlődő oszlopnevekkel
  • [SPARK-34766] [SQL][3.1] Ne rögzítse a maven-konfigurációt a nézetekhez
  • [SPARK-34731] [CORE] Kerülje a ConcurrentModificationException kivételt az EventLoggingListener tulajdonságainak újbóli megadásakor
  • [SPARK-34737] [SQL][3.1] A bemeneti lebegőpontos áttűnés kétszeresére TIMESTAMP_SECONDS
  • [SPARK-34749] [SQL][3.1] A ResolveCreateNamedStruct egyszerűsítése
  • [SPARK-34768] [SQL] Tartsa tiszteletben az alapértelmezett bemeneti pufferméretet az Univocityben
  • [SPARK-34770] [SQL] InMemoryCatalog.tableExists nem hiúsul meg, ha az adatbázis nem létezik
  • [SPARK-34504] [SQL] Kerülje a DDL-parancsok SQL ideiglenes nézeteinek szükségtelen feloldását
  • [SPARK-34727] [SQL] A lebegőpontos lebegőpontos értékek időbélyegzőre történő kiosztásának eltérése
  • [SPARK-34723] [SQL] Helyes paramétertípus az alexpresszió megszüntetéséhez az egész fázisban
  • [SPARK-34724] [SQL] Kijavítottuk az értelmezett értékelést a getMethod használatával a getDeclaredMethod helyett
  • [SPARK-34713] [SQL] Csoport javítása a CreateStruct és az ExtractValue használatával
  • [SPARK-34697] [SQL] A DESCRIBE függvény és a SHOW FÜGGVÉNYek ismertetése a következőről: || (sztringösszefűzési operátor)
  • [SPARK-34682] [SQL] A PrivateMethodTester használata tükröződés helyett
  • [SPARK-34682] [SQL] Regresszió javítása kanonizációs hibaellenőrzéskor a CustomShuffleReaderExecben
  • [SPARK-34681] [SQL] Kijavítottuk a teljes külső elfojtott kivonatillesztés hibáját, amikor a bal oldalt nem egyenlő feltétellel építik
  • [SPARK-34545] [SQL] A pyrolite valueCompare funkciójával kapcsolatos problémák megoldása
  • [SPARK-34607] [SQL][3.1] Hozzáadás Utils.isMemberClass helytelen formátumú osztálynévhiba kijavításához a jdk8u-n
  • [SPARK-34596] [SQL] Az Utils.getSimpleName használatával elkerülheti, hogy a NewInstance.doGenCode helytelen formátumú osztálynevet használjon
  • [SPARK-34613] [SQL] A javító nézet nem rögzíti a letiltás-tippkonfigurálást
  • [SPARK-32924] [WEBUI] Időtartam oszlop létrehozása a fő felhasználói felületen a megfelelő sorrendbe rendezve
  • [SPARK-34482] [SS] Az aktív SparkSession javítása a StreamExecution.logicalPlan esetében
  • [SPARK-34567] [SQL] A CreateTableAsSelectnek a metrikákat is frissítenie kell
  • [SPARK-34599] [SQL] Kijavítottuk azt a hibát, amely miatt az INSERT INTO OVERWRITE nem támogatja a DSv2 pontját tartalmazó partícióoszlopokat
  • [SPARK-34577] [SQL] Oszlopok elvetésének/hozzáadásának javítása DESCRIBE NAMESPACE
  • [SPARK-34584] [SQL] A statikus partíciónak a StoreAssignmentPolicy parancsot is követnie kell a v2-táblákba való beszúráskor
  • [SPARK-34555] [SQL] A DataFrame metaadat-kimenetének feloldása
  • [SPARK-34534] BlockIds-sorrend javítása a FetchShuffleBlocks használata esetén a blokkok beolvasásához
  • [SPARK-34547] [SQL] Csak metaadatoszlopokat használjon végső megoldásként
  • [SPARK-34417] [SQL] org.apache.spark.sql.DataFrameNaFunctions.fillMap meghiúsul, ha az oszlopnévnek pontja van
  • [SPARK-34561] [SQL] A 2-es verziójú adathalmaz oszlopainak elvetése/hozzáadása DESCRIBE TABLE
  • [SPARK-34556] [SQL] Az ismétlődő statikus partícióoszlopok ellenőrzésekor figyelembe kell venni a kis- és nagybetűk megkülönböztetésével kapcsolatos konföderációt
  • [SPARK-34392] [SQL] A ZoneOffset +h:mm támogatása a DateTimeUtilsben. getZoneId
  • [SPARK-34550] [SQL] Az InSet null értékének kihagyása a Hive-metaadattárba való leküldéses szűrő során
  • [SPARK-34543] [SQL] Tartsa tiszteletben a konfigurációt a spark.sql.caseSensitive partíciós specifikáció feloldása közben az 1-ben SET LOCATION
  • [SPARK-34436] [SQL] A DPP támogatja a LIKE ANY/ALL kifejezést
  • [SPARK-34531] [CORE] Kísérleti API-címke eltávolítása a PrometheusServletben
  • [SPARK-34497] [SQL] Beépített JDBC-kapcsolatszolgáltatók javítása a JVM biztonsági környezet változásainak visszaállításához
  • [SPARK-34515] [SQL] Kijavítottuk az NPE-t, ha az InSet null értéket tartalmaz a getPartitionsByFilter alatt
  • [SPARK-34490] [SQL] Az elemzésnek sikertelennek kell lennie, ha a nézet elvetett táblára hivatkozik
  • [SPARK-34473] [SQL] Kerülje az NPE-t a DataFrameReader.schema(StructType) alkalmazásban
  • [SPARK-34384] [CORE] Hiányzó dokumentumok hozzáadása ResourceProfile API-khoz
  • [SPARK-34373] [SQL] HiveThriftServer2 startWithContext lefagyhat egy versenyhelyzettel
  • [SPARK-20977] [CORE] Nem végleges mező használata a CollectionAccumulator állapotához
  • [SPARK-34421] [SQL] Ideiglenes függvények és nézetek feloldása CTE-kkel rendelkező nézetekben
  • [SPARK-34431] [CORE] Csak egyszer tölthető be hive-site.xml
  • [SPARK-34405] [CORE] Az időzítők középértékének javításaCímkék a PrometheusServlet osztályban
  • [SPARK-33438] [SQL] Lelkesen inicializálási objektumok definiált SQL-konföderációkkal a parancshoz set -v
  • [SPARK-34158] Helytelen URL-cím az egyetlen fejlesztő Matei a pom.xml
  • [SPARK-34346] [CORE][SQL][3.1] a spark.buffer.size által beállított io.file.buffer.size felülbírálja a hive-site.xml betöltése véletlenül perf regressziót okozhat
  • [SPARK-34359] [SQL][3.1] Örökölt konfiguráció hozzáadása a SHOW DATABASES kimeneti sémájának visszaállításához
  • [SPARK-34331] [SQL] A DS v2 metaadatok col felbontásának felgyorsítása
  • [SPARK-34318] [SQL][3.1] A Dataset.colRegex függvénynek új sorokat tartalmazó oszlopnevekkel és minősítőkkel kell működnie
  • [SPARK-34326] [CORE][SQL] A SPARK-31793-ban hozzáadott UT-k javítása az ideiglenes elérési út hosszától függően
  • [SPARK-34319] [SQL] A FlatMapCoGroupsInPandas/MapInPandas duplikált attribútumainak feloldása
  • [SPARK-34310] [CORE][SQL] A leképezést és a simítást lapostérképre cseréli
  • [SPARK-34083] [SQL][3.1] A TPCDS eredeti definícióinak használata char/varchar kolumshoz
  • [SPARK-34233] [SQL][3.1] FIX NPE karakterpárnázás bináris összehasonlításban
  • [SPARK-34270] [SS] A StateStoreMetrics kombinálása nem bírálhatja felül a StateStoreCustomMetric értéket
  • [SPARK-34144] [SQL] A LocalDate és az Azonnali értékek JDBC-kapcsolatba való írásakor jelentkező kivétel
  • [SPARK-34273] [CORE] Ne regisztrálja újra a BlockManagert a SparkContext leállításakor
  • [SPARK-34262] [SQL][3.1] V1-tábla gyorsítótárazott adatainak frissítése ALTER TABLE .. SET LOCATION
  • [SPARK-34275] [CORE][SQL][MLLIB] A szűrőt és a méretet a darabszámra cseréli
  • [SPARK-34260] [SQL] MegoldatlanException hiba kijavítása ideiglenes nézet kétszeri létrehozásakor
  • [SPARK-33867] [SQL] Az azonnali és a LocalDate értékek nem lesznek kezelve SQL-lekérdezések létrehozásakor
  • [SPARK-34193] [CORE] TorrentBroadcast blokkkezelő leszerelési verseny javítása
  • [SPARK-34221] [WEBUI] Győződjön meg arról, hogy egy szakasz meghiúsul a felhasználói felületen, a megfelelő hibaüzenet megfelelően jeleníthető meg
  • [SPARK-34236] [SQL] Kijavítottuk a v2 felülírását w/ null statikus partícióemelés nem tudja lefordítani a kifejezést forrásszűrőre: null
  • [SPARK-34212] [SQL] A Parquet-fájlok helytelen decimális beolvasásának javítása
  • [SPARK-34244] [SQL] Távolítsa el az regexp_extract_all Scala-függvényverzióját
  • [SPARK-34235] [SS] Spark.sql.hive létrehozása privát csomagként
  • [SPARK-34232] [CORE] Redact SparkListenerEnvironmentUpdate esemény a naplóban
  • [SPARK-34229] [SQL] Az Avronak be kell olvasnia a decimális értékeket a fájlsémával
  • [SPARK-34223] [SQL] FIX NPE statikus partícióhoz null értékkel az InsertIntoHadoopFsRelationCommand fájlban
  • [SPARK-34192] [SQL] Helyezze át a karakterpárnázást az írási oldalra, és távolítsa el a hosszellenőrzést az olvasási oldalon is
  • [SPARK-34203] [SQL] Partícióértékek __HIVE_DEFAULT_PARTITION__ konvertálása null v1 In-Memory katalógusba
  • [SPARK-33726] [SQL] Javítás ismétlődő mezőnevekhez az összesítés során
  • [SPARK-34133] [AVRO] A kis- és nagybetűk érzékenységének tiszteletben tartása a Catalyst-to-Avro mezőegyeztetés végrehajtásakor
  • [SPARK-34187] [SS] A lekérdezés során lekérdezett elérhető eltolási tartomány használata az eltolás ellenőrzésekor
  • [SPARK-34052] [SQL][3.1] tárolja a "CACHE TABLE . AS SELECT ..."
  • [SPARK-34213] [SQL] A v1-tábla gyorsítótárazott adatainak frissítése a következőben: LOAD DATA
  • [SPARK-34191] [PYTHON][SQL] Gépelés hozzáadása udf túlterheléshez
  • [SPARK-34200] [SQL] A nem egyértelmű oszlophivatkozásnak figyelembe kell vennie az attribútumok rendelkezésre állását
  • [SPARK-33813] [SQL][3.1] Kijavítottuk azt a hibát, amely miatt a JDBC-forrás nem tudja kezelni az MS SQL Server térbeli típusait
  • [SPARK-34178] [SQL] A MultiInstanceRelation.newInstance által létrehozott új csomópont címkéinek másolása
  • [SPARK-34005] [CORE][3.1] Memóriacsúcs-metrikák frissítése minden végrehajtóhoz a feladat végén
  • [SPARK-34115] [CORE] Ellenőrizze SPARK_TESTING lusta valként a lassulás elkerülése érdekében
  • [SPARK-34153] [SQL][3.1][3.0] Távolítsa el a nem használt getRawTable()HiveExternalCatalog.alterPartitions()
  • [SPARK-34130] [SQL] Impove preformace for char varchar padding and length check with StaticInvoke
  • [SPARK-34027] [SQL][3.1] Gyorsítótár frissítése ALTER TABLE .. RECOVER PARTITIONS
  • [SPARK-34151] [SQL] Csere erre:java.io.File.toURLjava.io.File.toURI.toURL
  • [SPARK-34140] [SQL][3.1] QueryCompilationErrors.scala áthelyezése a következőre: org/apache/spark/sql/errors
  • [SPARK-34080] [ML][PYTHON] UnivariateFeatureSelector hozzáadása
  • [SPARK-33790] [CORE][3.1] Csökkentse a getFileStatus rpc-hívását a SingleFileEventLogFileReaderben
  • [SPARK-34118] [CORE][SQL][3.1] Lecseréli a szűrőt, és ellenőrzi az ürességet a létező vagy a mindenre
  • A[SPARK-34114] [SQL] nem vágja jobbra az oldaloldali karakterhossz-ellenőrzést és -kitöltést
  • [SPARK-34086] [SQL][3.1] A RaiseError túl sok kódot hoz létre, és meghiúsulhat a kodekgen hossza a karakter varchar keresésekor
  • [SPARK-34075] [SQL][CORE] A partíciókövetkeztetéshez rejtett könyvtárak vannak felsorolva
  • [SPARK-34076] [SQL] SQLContext.dropTempTable meghiúsul, ha a gyorsítótár nem üres
  • [SPARK-34084] [SQL][3.1] Táblastatisztikák automatikus frissítésének javítása a következőben: ALTER TABLE .. ADD PARTITION
  • [SPARK-34090] [SS] Cache HadoopDelegationTokenManager.isServiceEnabled eredmény a KafkaTokenUtil.needTokenUpdate alkalmazásban
  • [SPARK-34069] [CORE] A tiltókorlátokkal kapcsolatos feladatoknak tiszteletben kell tartaniuk SPARK_JOB_INTERRUPT_ON_CANCEL
  • [SPARK-34091] [SQL] A shuffle kötegelt beolvasásnak le kell tiltania, miután engedélyezve lett
  • [SPARK-34059] [SQL][CORE][3.1] A leképezés helyett használja a for/foreach parancsot, és győződjön meg arról, hogy lelkesen hajtja végre
  • [SPARK-34002] [SQL] A Kódoló használatának javítása a ScalaUDF-ben
  • [SPARK-34060] [SQL][3.1] A Hive-tábla gyorsítótárazásának javítása a statisztikák frissítésekor ALTER TABLE .. DROP PARTITION
  • [SPARK-31952] [SQL] Helytelen memóriakiömlési metrikák javítása az összesítés során
  • [SPARK-33591] [SQL][3.1] Felismerés null partíciós specifikációértékekben
  • [SPARK-34055] [SQL][3.1] Gyorsítótár frissítése ALTER TABLE .. ADD PARTITION
  • [SPARK-34039] [SQL][3.1] A ReplaceTable-nek érvénytelenítenie kell a gyorsítótárat
  • [SPARK-34003] [SQL] A PaddingAndLengthCheckForCharVarchar és a ResolveAggregateFunctions közötti szabályütközések javítása
  • [SPARK-33938] [SQL][3.1] LikeSimplification alapján mindenhez hasonló optimalizálás
  • [SPARK-34021] [R] Hyper-hivatkozások javítása a SparkR-dokumentációban a CRAN-beküldéshez
  • [SPARK-34011] [SQL][3.1][3.0] Gyorsítótár frissítése ALTER TABLE .. RENAME TO PARTITION
  • [SPARK-33948] [SQL] A MapObjects.doGenCode metódus CodeGen-hibájának javítása a Scala 2.13-ban
  • [SPARK-33635] [SS] Módosítsa a kafkaTokenUtil.needTokenUpdate ellenőrzés sorrendjét a teljesítményregresszió orvoslása érdekében
  • [SPARK-33029] [CORE][WEBUI] Javítsa ki a felhasználói felület végrehajtói lapját, amely helytelenül jelöli meg az illesztőprogramot kizártként
  • [SPARK-34015] [R] Bemeneti időzítés javítása a gapplyben
  • [SPARK-34012] [SQL] Konzisztens viselkedés, ha a konföderáció igaz a migrálási spark.sql.legacy.parser.havingWithoutGroupByAsWhere útmutatóval
  • [SPARK-33844] [SQL][3.1] Az InsertIntoHiveDir parancsnak ellenőriznie kell az oszlop nevét is
  • [SPARK-33935] [SQL] CBO költségfüggvény javítása
  • [SPARK-33100] [SQL] Szögletes zárójeles megjegyzésen belüli pontosvessző figyelmen kívül hagyása a spark-sql-ben
  • [SPARK-34000] [CORE] Fix stageAttemptToNumSpeculativeTasks java.util.NoSuchElementException
  • [SPARK-33992] [SQL] felülbírálja a transformUpWithNewOutput parancsot az allowInvokingTransformsInAnalyzer hozzáadásához
  • [SPARK-33894] [SQL] A Scala 2.13 futtatókörnyezeti fordítási hibáinak elkerülése érdekében módosítsa a privát esetosztályok láthatóságát az mllibben
  • [SPARK-33950] [SQL][3.1][3.0] Gyorsítótár frissítése az 1-ben ALTER TABLE .. DROP PARTITION
  • [SPARK-33980] [SS] Érvényteleníti a karaktert/varchart a spark.readStream.schema fájlban
  • [SPARK-33945] [SQL][3.1] Egy kifából álló véletlenszerű magot kezel
  • [SPARK-33398] Famodellek betöltése a Spark 3.0 előtt
  • [SPARK-33963] [SQL] A w/o tábla statisztikáinak kanonicalizálása HiveTableRelation
  • [SPARK-33906] [WEBUI] A nem definiált peakMemoryMetrics miatt elakadt felhasználói felületi végrehajtó oldal hibájának javítása
  • [SPARK-33944] [SQL] A Raktárkulcsok helytelen naplózása a SharedState beállításaiban
  • [SPARK-33936] [SQL][3.1] Az összekötő illesztőinek hozzáadásakor a verzió hozzáadása
  • [SPARK-33916] [CORE] A tartalék tároló eltolásának javítása és a tömörítési kodekteszt lefedettségének javítása
  • [SPARK-33899] [SQL][3.1] A TÁBLÁK/NÉZETEK MEGJELENÍTÉSE v1-ben fellépő helyességi hiba javítása spark_catalog
  • [SPARK-33901] [SQL] Karakter- és Varchar-megjelenítési hiba javítása a DLL-ek után
  • [SPARK-33897] [SQL] A "kereszt" beállítás nem állítható be az illesztési módszerben
  • [SPARK-33907] [SQL][3.1] Csak a JsonToStructs oszlopainak metszése, ha az elemzési lehetőségek üresek
  • [SPARK-33621][SPARK-33784] [SQL][3.1] Adatforrás-átírási szabályok beszúrásának módja
  • [SPARK-33900] [WEBUI] Az olvasmány olvasási méretének / rekordjainak helyes megjelenítése, ha csak a remotebytesread érhető el
  • [SPARK-33892] [SQL] Karakter/varchar megjelenítése a DESC-ben és a CREATE TABLE megjelenítése
  • [SPARK-33895] [SQL] Char és Varchar fail in MetaOperation of ThriftServer
  • [SPARK-33659] [SS] A DataStreamWriter.toTable API aktuális viselkedésének dokumentálása
  • [SPARK-33893] [CORE] Tartalék blokkkezelő kizárása a végrehajtólistából
  • [SPARK-33277] [PYSPARK][SQL] A ContextAwareIterator használatával állítsa le a használatot a tevékenység befejezése után
  • [SPARK-33889] [SQL][3.1] NPE javítása V2-táblákon SHOW PARTITIONS
  • [SPARK-33879] [SQL] A Char Varchar értékei nem felelnek meg a w/match hibának partícióoszlopként
  • [SPARK-33877] [SQL] SQL-referenciadokumentumok az INSERT w/ oszloplistához
  • [SPARK-33876] [SQL] A karakter/varchar olvasásának hosszadalmas ellenőrzése külső helyen lévő táblákból
  • [SPARK-33846] [SQL] Megjegyzések belefoglalása beágyazott sémához a StructType.toDDL-ben
  • [SPARK-33860] [SQL] A CatalystTypeConverters.convertToCatalyst beállítása speciális tömbértékre
  • [SPARK-33834] [SQL] Az ALTER TABLE CHANGE COLUMN ellenőrzése Karakterrel és Varcharral
  • [SPARK-33853] [SQL] EXPLAIN CODEGEN és BenchmarkQueryTest nem jeleníti meg az al lekérdezési kódot
  • [SPARK-33836] [SS][PYTHON] A DataStreamReader.table és a DataStreamWriter.toTable elérhetővé tétele
  • [SPARK-33829] [SQL][3.1] V2-táblák átnevezésével újra létre kell hozni a gyorsítótárat
  • [SPARK-33756] [SQL] BytesToBytesMap's MapIterator idempotent
  • [SPARK-33850] [SQL] A FORMATTED magyarázata nem jeleníti meg az allekérdezések tervét, ha az AQE engedélyezve van
  • [SPARK-33841] [CORE][3.1] Kijavítottuk azt a hibát, amely miatt a feladatok időnként eltűnnek az SHS-ből nagy terhelés mellett
  • [SPARK-33593] [SQL] A vektorolvasó helytelen adatokat kapott bináris partíciós értékkel
  • [SPARK-26341] [WEBUI] A végrehajtó memóriametrikáinak megjelenítése a fázis szintjén, a Szakaszok lapon
  • [SPARK-33831] [felhasználói felület] Frissítés a 9.4.34-es verzióra
  • [SPARK-33822] [SQL] A hashJoin metódus használata CastSupport.cast
  • [SPARK-33774] [felhasználói felület][CORE] Vissza a főkiszolgálóra" 500-as hibát ad vissza az önálló fürtben
  • [SPARK-26199][SPARK-31517] [R] A kezelési stratégia javítása ... nevek a mutációban
  • [SPARK-33819] [CORE][3.1] SingleFileEventLogFileReader/RollingEventLogFilesFileReader package private
  • [SPARK-33697] [SQL] A RemoveRedundantProjects alapértelmezés szerint oszloprendezést igényel
  • [SPARK-33752] [SQL][3.1] Kerülje az AnalysisException getSimpleMessage elemét, amely ismételten pontosvesszőt ad hozzá
  • [SPARK-33788] [SQL][3.1][3.0][2.4] Throw NoSuchPartitionsException from HiveExternalCatalog.dropPartitions()
  • [SPARK-33803] [SQL] Táblatulajdonságok rendezése kulcs szerint a DESCRIBE TABLE parancsban
  • [SPARK-33786] [SQL] A gyorsítótár tárolási szintjét tiszteletben kell tartani a táblanév módosításakor
  • [SPARK-33273] [SQL] Versenyállapot javítása az alkérelmek végrehajtásában
  • [SPARK-33653] [SQL][3.1] DSv2: A REFRESH TABLE visszafedi magát a táblát
  • [SPARK-33777] [SQL] V2 SHOW PARTITIONS kimenetének rendezése
  • [SPARK-33733] [SQL] A PullOutNondeterministicnak ellenőriznie és gyűjtenie kell a determinisztikus mezőt
  • [SPARK-33764] [SS] Állapottároló karbantartási időközének beállítása SQL-konfigurációként
  • [SPARK-33729] [SQL] A gyorsítótár frissítésekor a Spark nem használhat gyorsítótárazott csomagot az adatok újrakonfigurálásakor
  • [SPARK-33742] [SQL][3.1] Partíciók elvetéseAlreadyExistException a HiveExternalCatalog.createPartitions()
  • [SPARK-33706] [SQL] Teljes partícióazonosító megkövetelése partitionExists()
  • [SPARK-33740] [SQL] hadoop-konfigurációk a hive-site.xml felülbírálhatják a már meglévő Hadoop-konfigurációkat
  • [SPARK-33692] [SQL] A nézetnek rögzített katalógust és névteret kell használnia a keresési függvényhez
  • [SPARK-33669] Helytelen hibaüzenet jelenik meg a YARN alkalmazásállapot-figyelőjéből, amikor sc.stop a Yarn ügyfélmódban
  • [SPARK-32110] [SQL] normalizálja a speciális lebegő számokat a HyperLogLog++ alkalmazásban
  • [SPARK-33677] [SQL] Hagyja ki a LikeSimplification szabályt, ha a minta tartalmaz escapeChar-t
  • [SPARK-33693] [SQL] elavult spark.sql.hive.convertCTAS
  • [SPARK-33641] [SQL] Érvényteleníti az új karakter-/varchar-típusokat a nyilvános API-kban, amelyek helytelen eredményeket eredményeznek
  • [SPARK-32680] [SQL] Ne dolgozza fel a V2 CTAS-t megoldatlan lekérdezéssel
  • [SPARK-33676] [SQL] A partíciós speciál pontos egyeztetésének megkövetelése a V2 sémával ALTER TABLE .. ADD/DROP PARTITION
  • [SPARK-33670] [SQL] Ellenőrizze, hogy a partíciószolgáltató Hive-e az 1. verziójú BŐVÍTETT SHOW TABLE-ben
  • [SPARK-33663] [SQL] A nem létező ideiglenes nézeteken nem lehet meghívni a gyorsítótárazást
  • [SPARK-33667] [SQL] Tartsa tiszteletben a konfigurációt, miközben feloldja a spark.sql.caseSensitive partíciós specifikációt az 1-ben SHOW PARTITIONS
  • [SPARK-33652] [SQL] DSv2: DeleteFrom frissítési gyorsítótár

Karbantartási frissítések

Lásd: Databricks Runtime 9.0 karbantartási frissítések.

Rendszerkörnyezet

  • Operációs rendszer: Ubuntu 20.04.2 LTS
  • Java: Zulu 8.54.0.21-CA-linux64
  • Scala: 2.12.10
  • Python: 3.8.10
  • R: 4.1.0 (2021-05-18)
  • Delta Lake 1.0.0

Telepített Python-kódtárak

Erőforrástár Version Erőforrástár Version Erőforrástár Version
Antergos Linux 2015.10 (ISO-rolling) appdirs 1.4.4 visszahívás 0.2.0
boto3 1.16.7 botocore 1.19.7 minősítés 2020.12.5
karakterkészlet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 Dekoratőr 5.0.6 distlib 0.3.2
distro-info 0,23ubuntu1 aspektusok áttekintése 1.0.0 filelock 3.0.12
idna 2.10 ipykernel 5.3.4 ipython 7.22.0
ipython-genutils 0.2.0 Jedi 0.17.2 jmespath 0.10.0
joblib 1.0.1 jupyter-client 6.1.12 jupyter-core 4.7.1
kiwisolver 1.3.1 Koalák 1.8.1 matplotlib 3.4.2
numpy 1.19.2 pandas 1.2.4 parso 0.7.0
Patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
Párna 8.2.0 pip 21.0.1 plotly 4.14.3
prompt-toolkit 3.0.17 protobuf 3.17.2 psycopg2 2.8.5
ptyprocess 0.7.0 pyarrow 4.0.0 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 python-apt 2.0.0+ubuntu0.20.4.5
Python-dateutil 2.8.1 pytz 2020.5 pyzmq 20.0.0
kérelmek 2.25.1 requests-unixsocket 0.2.0 Újrapróbálkozás 1.3.3
s3transfer 0.3.7 scikit-learn 0.24.1 scipy 1.6.2
tengeri 0.11.1 setuptools 52.0.0 Hat 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 threadpoolctl 2.1.0
Tornádó 6.1 traitlets 5.0.5 felügyelet nélküli frissítések 0,1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
kerék 0.36.2

Telepített R-kódtárak

Az R-kódtárak a 2021.07.28-i Microsoft CRAN-pillanatképből települnek.

Erőforrástár Version Erőforrástár Version Erőforrástár Version
askpass 1.1 assertthat 0.2.1 backports 1.2.1
alap 4.1.0 base64enc 0,1 – 3 BH 1.72.0-3
bit 4.0.4 bit64 4.0.5 blob 1.2.1
rendszerindítás 1.3-28 Sört 1.0 – 6 Brio 1.1.0
seprű 0.7.2 hívó 3.5.1 kalap jel 6.0-86
cellranger 1.1.0 chron 2.3-56 Osztály 7.3-19
CLI 2.2.0 Cliper 0.7.1 fürt 2.1.2
codetools 0.2-18 színtér 2.0-0 commonmark 1.7
fordítóprogram 4.1.0 config 0,3 covr 3.5.1
cpp11 0.2.4 zsírkréta 1.3.4 hitelesítő adatok 1.3.0
Ellenvélemények 1.1.0.1 Curl 4.3 az adattábla 1.13.4
datasets 4.1.0 DBI 1.1.0 dbplyr 2.0.0
Desc 1.2.0 devtools 2.3.2 diffobj 0.3.2
digest 0.6.27 dplyr 1.0.2 DT 0.16
három pont 0.3.1 értékelés 0,14 fansi 0.4.1
farver 2.0.3 gyorstérkép 1.0.1 Forcats 0.5.0
foreach 1.5.1 külföldi 0.8-81 Forge 0.2.0
FS 1.5.0 Jövőben 1.21.0 generikus 0.1.0
Gert 1.0.2 ggplot2 3.3.2 Gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 Globals 0.14.0
ragasztó 1.4.2 Gower 0.2.2 grafikus 4.1.0
grDevices 4.1.0 grid 4.1.0 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 tevékenységnaplóiban 2.3.1
magas szintű 0,8 HMS 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 Ini 0.3.1
IPRED 0,9 – 9 isoband 0.2.3 Iterátornak 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-20 kötés 1.30
címkézés 0.4.2 Később 1.1.0.1 rácsos 0.20-44
láva 1.6.8.1 lazyeval 0.2.2 életciklus 0.2.0
figyelő 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
Markdown 1.1 MASS 7.3-54 Mátrix 1.3-4
memoise 1.1.0 módszerek 4.1.0 mgcv 1.8-36
MIME 0.9 ModelMetrics 1.2.2.2 modellező 0.1.8
munsell 0.5.0 nlme 3.1-152 a beoltás 7.3-16
numDeriv 2016.8-1.1 OpenSSL 1.4.3 párhuzamos 4.1.0
párhuzamosan 1.22.0 Pillar 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 Dicséret 1.0.0 prettyunits 1.1.1
Proc 1.16.2 processx 3.4.5 prodlim 2019.11.13
haladás 1.2.2 Ígér 1.1.1 Proto 1.0.0
PS 1.5.0 a dorombolás 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1 – 2 Rcpp 1.0.5
olvasó 1.4.0 readxl 1.3.1 receptek 0.1.15
visszavágót 1.0.1 visszavágó2 2.1.2 Távirányító 2.2.0
reprex 0.3.0 reshape2 1.4.4 Rex 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1 – 15 rprojroot 2.0.2
Rserve 1.8-8 RSQLite 2.2.1 rstudioapi 0.13
rversions 2.0.2 rvest 0.3.6 mérlegek 1.1.1
választó 0.4-2 sessioninfo 1.1.1 Alakzat 1.4.5
Fényes 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2 tanúsítványsablonok
SparkR 3.1.1 térbeli 7.3 – 11 spline 4.1.0
sqldf 0.4-11 SQUAREM 2020.5 statisztikák 4.1.0
stats4 4.1.0 stringi 1.5.3 karakterlánc 1.4.0
túlélési 3.2-11 sys 3.4 tcltk 4.1.0
TeachingDemos 2.10 testthat 3.0.0 tibble 3.0.4
megtakarító 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
timeDate 3043.102 tinytex 0.28 eszközök 4.1.0
usethis 2.0.0 UTF8 1.1.4 utils 4.1.0
uuid 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
Waldo 0.2.3 kanóc 0.4 a 2.3.0
xfun 0.19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 YAML 2.2.1 Zip 2.1.1

Telepített Java- és Scala-kódtárak (Scala 2.12-fürtverzió)

Csoportazonosító Összetevő azonosítója Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-marketplacecommerceanalytics 1.11.655
com.amazonaws aws-java-sdk-marketplacemeteringservice 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics Patak 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Osztálytárs 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.koffein Koffein 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib mag 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava Guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.KIADÁS
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2 tanúsítványsablonok
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-naplózás commons-naplózás 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
hive-2.3__hadoop-2.7 jets3t-0.7 liball_deps_2.12
hive-2.3__hadoop-2.7 zookeeper-3.4 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.delta delta-sharing-spark_2.12 0.1.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Kollektor 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation Aktiválás 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-fák hive-2.3__hadoop-2.7 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant Hangya 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow nyílformátum 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow nyíl-memória-netty 2.0.0
org.apache.arrow nyílvektor 2.0.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator kurátor-ügyfél 2.7.1
org.apache.curator kurátor-keretrendszer 2.7.1
org.apache.curator kurátor-receptek 2.7.1
org.apache.derby Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-inkubating
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy Ivy 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shims 1.5.12
org.apache.parquet parquet-column 1.10.1-databricks9
org.apache.parquet parquet-common 1.10.1-databricks9
org.apache.parquet parquet-kódolás 1.10.1-databricks9
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks9
org.apache.parquet parquet-jackson 1.10.1-databricks9
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus közönség-széljegyzetek 0.5.0
org.apache.zookeeper Zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.36.v20210114
org.eclipse.jetty móló-folytatás 9.4.36.v20210114
org.eclipse.jetty jetty-http 9.4.36.v20210114
org.eclipse.jetty jetty-io 9.4.36.v20210114
org.eclipse.jetty jetty-jndi 9.4.36.v20210114
org.eclipse.jetty jetty-plus 9.4.36.v20210114
org.eclipse.jetty jetty-proxy 9.4.36.v20210114
org.eclipse.jetty jetty-security 9.4.36.v20210114
org.eclipse.jetty jetty-server 9.4.36.v20210114
org.eclipse.jetty jetty-servlet 9.4.36.v20210114
org.eclipse.jetty jetty-servlets 9.4.36.v20210114
org.eclipse.jetty jetty-util 9.4.36.v20210114
org.eclipse.jetty jetty-util-ajax 9.4.36.v20210114
org.eclipse.jetty jetty-webapp 9.4.36.v20210114
org.eclipse.jetty jetty-xml 9.4.36.v20210114
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-lokátor 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator hibernált-érvényesítő 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql PostgreSQL 42.1.4
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap Alátéteket 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt tesztfelület 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp szellő-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark Használatlan 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework tavaszi teszt 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel makró-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1.24
Oro Oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52