Databricks Runtime 6.0 (nem támogatott)

Cikk
06/01/2023

A Databricks 2019 októberében adta ki ezt a képet.

Az alábbi kibocsátási megjegyzések az Apache Spark által üzemeltetett Databricks Runtime 6.0-ról nyújtanak információkat.

Új funkciók

Python-környezet

A Databricks Runtime 6.0 tartalmazza a Python főbb módosításait és a Python-környezetek konfigurálásának módját, beleértve a Python 3.7.3-ra való frissítését, a telepített Python-csomagok listájának finomítását és a telepített csomagok újabb verziókra való frissítését. Részletekért lásd: Telepített Python-kódtárak.

A korábban bejelentett módon a Databricks Runtime 6.0 nem támogatja a Python 2-t.

A főbb változások a következők:

Frissítette a Pythont a 3.5.2-ről a 3.7.3-ra. Előfordulhat, hogy a Python-csomagok egyes régebbi verziói nem lesznek továbbítva a Python 3.7-zel, mert a Cython régi verzióitól függnek, amelyek nem kompatibilisek a Python 3.7-zel. Egy ilyen csomag telepítése hasonló ‘PyThreadState’ {‘struct _ts’} has no member named ‘exc_type’ hibákat okozhat (további részletekért lásd: GitHub 1978-ra vonatkozó probléma ). Telepítse helyette a Python-csomagok Python 3.7-kompatibilis verzióit.
Főbb csomagfrissítések:
- boto3–1.9.162
- ipythonról 7.4.0-ra
- matplotlib to 3.0.3
- numpy to 1.16.2
- pandas to 0.24.2
- pyarrow 0,13,0-ra
A Databricks Runtime 5.5 LTS -hez (nem támogatott) képest a következő Python-csomagok találhatók meg újonnan: asn1crypto, backcall, jedi, kiwisolver, parso és PySocks.
A Databricks Runtime 5.5 LTS-hez (nem támogatott) képest a következő Python-csomagok nincsenek telepítve: ansi2html, brewer2mpl, colorama, configobj, enum34, et-xmlfile, freetype-py, funcsigs, fusepy, ggplot, html5lib, ipaddress, jdcal, Jinja2, llvmlite, lxml, MarkupSafe, mpld3, msgpack-python, ndg-httpsclient, numba, openpyxl, pathlib2, Pillow, ply, pyasn1, pypng, python-geohash, scour, simplejson és singledispatch.
A display Python ggplot-objektumok függvénye már nem támogatott, mert a ggplot-csomag nem kompatibilis a pandas újabb verziójával.
/databricks/python2/bin/python A beállítás PYSPARK_PYTHON nem támogatott, mert a Databricks Runtime 6.0 nem támogatja a Python 2-t. Egy ilyen beállítással rendelkező fürt továbbra is elindulhat. A Python-jegyzetfüzetek és a Python-parancsok azonban nem működnek, azaz a Python-parancscellák "Megszakítva" hibával meghiúsulnak, és Python shell failed to start hiba jelenik meg az illesztőprogram-naplókban.
Ha PYSPARK_PYTHON egy Virtualenv által felügyelt környezetben található Python-végrehajtható fájlra mutat, akkor ez a környezet init-szkriptekhez és jegyzetfüzetekhez lesz aktiválva. Az aktivált környezetben definiált és pip az aktivált környezetben definiált parancsokat közvetlenül anélkül használhatjapython, hogy meg kellene adnia ezeknek a parancsoknak az abszolút helyét. Alapértelmezés szerint PYSPARK_PYTHON a értéke /databricks/python3/bin/python. Így alapértelmezés szerint python az /databricks/python3/bin/pythoninit-szkriptekre és pip a jegyzetfüzetekre mutat, és azokra /databricks/python3/bin/pip mutat. Ha olyan PYSPARK_PYTHON Python-végrehajtható fájlra mutat, amely nem a Virtualenv által felügyelt környezetben található, vagy ha init szkriptet ír a által PYSPARK_PYTHONmegadott Python létrehozásához, abszolút elérési utakat kell használnia a megfelelő python és pipa eléréséhez. Ha a Python-kódtár elkülönítése engedélyezve van (alapértelmezés szerint engedélyezve van), az aktivált környezet továbbra is az a környezet, amelyhez PYSPARK_PYTHON társítva van. Javasoljuk, hogy a Python-jegyzetfüzethez társított elkülönített környezet módosításához használja a Library segédprogramot (dbutils.library ).

Scala és Java API-k Delta Lake DML-parancsokhoz

Mostantól programozott API-k használatával módosíthatja a Delta-táblák adatait a törléshez, a frissítéshez és az egyesítéshez. Ezek az API-k tükrözik a megfelelő SQL-parancsok szintaxisát és szemantikáját, és számos számítási feladathoz kiválóan használhatók, például lassan változó dimenziós (SCD-) műveletekhez, a replikáció változási adatainak egyesítéséhez és a streamelési lekérdezések frissítéséhez.

Részletekért lásd : Mi az a Delta Lake?.

Scala és Java API-k a Delta Lake segédprogram parancsaihoz

A Databricks Runtime mostantól programozott API-kkal rendelkezik a és history a vacuum segédprogram parancsaihoz. Ezek az API-k a Databricks Runtime korábbi verzióiban elérhető megfelelő SQL-parancsok szintaxisát és szemantikai adatait tükrözik.

A táblán futtatva vacuum törölheti azokat a fájlokat, amelyekre a Delta-tábla már nem hivatkozik, és amelyek régebbiek a megőrzési küszöbértéknél. A tábla parancsának vacuum futtatása rekurzív módon kiürül a Delta táblához társított könyvtárakból. A fájlok alapértelmezett adatmegőrzési küszöbértéke 7 nap. A megőrzési időtartamnál régebbi verzióra való visszautazás képessége a futtatás vacuumután megszűnik. vacuum nem aktiválódik automatikusan.

Az parancs futtatásával history lekérheti a műveletekre, a felhasználóra, az időbélyegre stb. vonatkozó információkat a Delta-táblába történő íráshoz. A művelet fordított időrendi sorrendben lesz visszaadva. Alapértelmezés szerint a táblaelőzmények 30 napig megmaradnak.

Részletekért lásd : Mi az a Delta Lake?.

Az Azure Lsv2-példányokhoz elérhető lemez gyorsítótárazása

[Lemez gyorsítótárazása]] (.. /.. A /optimizations/disk-cache.md) alapértelmezés szerint engedélyezve van az összes Lsv2-példány esetében.

Optimalizált tárolás helyi fájl API-k használatával

A helyi fájl API-k hasznosak, mivel lehetővé teszik a fájlok elérését a mögöttes elosztott objektumtárolóból helyi fájlokként. A Databricks Runtime 6.0-s verzióban továbbfejlesztettük a FUSE-csatlakoztatást, amely lehetővé teszi a helyi fájl API-k számára a kulcskorlátozások kezelésére. A Databricks Runtime 6.0 jelentősen javítja az olvasási és írási sebességet, és támogatja a 2 GB-nál nagyobb fájlokat. Ha gyorsabb és megbízhatóbb olvasási és írási műveletekre van szüksége, például az elosztott modell betanításához, ez a fejlesztés különösen hasznosnak bizonyulhat. Emellett nem kell adatokat betöltenie egy helyi tárolóba a számítási feladatokhoz, ami költségmegtakarítást és a termelékenység növelését is lehetővé teszi.

Részletekért lásd: Mi az a Databricks fájlrendszer (DBFS)?.

Több matplotlib-diagram jegyzetfüzetcellánként

Mostantól jegyzetfüzetcellánként több matplotlib-diagramot is megjeleníthet:

Több matplotlib-diagram a cellában

Szolgáltatás hitelesítő adatai több Azure Data Lake Storage Gen1-fiókhoz

Mostantól több Azure Databricks-fiókból több Azure Databricks-fiókból is beállíthat szolgáltatás Azure Data Lake Storage-hitelesítő adatokat, hogy egyetlen Apache Spark-munkamenetben használhassa. Ehhez adja hozzá account.<account-name> a konfigurációs kulcsokat. Ha például hitelesítő adatokat szeretne beállítani a és a fiókok eléréséhez adl://example1.azuredatalakestore.netadl://example2.azuredatalakestore.net, ezt a következőképpen teheti meg:

spark.conf.set("fs.adl.oauth2.access.token.provider.type", "ClientCredential")

spark.conf.set("fs.adl.account.example1.oauth2.client.id", "<application-id-example1>")
spark.conf.set("fs.adl.account.example1.oauth2.credential", dbutils.secrets.get(scope = "<scope-name>", key = "<key-name-for-service-credential-example1>"))
spark.conf.set("fs.adl.account.example1.oauth2.refresh.url", "https://login.microsoftonline.com/<directory-id-example1>/oauth2/token")

spark.conf.set("fs.adl.account.example2.oauth2.client.id", "<application-id-example2>")
spark.conf.set("fs.adl.account.example2.oauth2.credential", dbutils.secrets.get(scope = "<scope-name>", key = "<key-name-for-service-credential-example2>"))
spark.conf.set("fs.adl.account.example2.oauth2.refresh.url", "https://login.microsoftonline.com/<directory-id-example2>/oauth2/token")

Fejlesztések

Az AWS SDK 1.11.596-ra frissült.
Frissítette az Azure Storage SDK-t a WASB-illesztőben 7.0-ra.
OPTIMIZE Most a metrikák összegzését adja meg, például a hozzáadott fájlok számát, az eltávolított fájlok számát, valamint a maximális és minimális fájlméretet. Lásd: Adatfájlok tömörítése optimalizálással a Delta Lake-en.

Eltávolítás

A Databricks ML-modell exportálása el lesz távolítva. Ehelyett az MLeap használatával importálhat és exportálhat modelleket.

Apache Spark

Megjegyzés

Ez a cikk a slave kifejezésre hivatkozik, amelyet az Azure Databricks nem használ. Ha a kifejezés el lesz távolítva a szoftverből, eltávolítjuk ebből a cikkből.

A Databricks Runtime 6.0 tartalmazza az Apache Spark 2.4.3-at. Ez a kiadás tartalmazza a Databricks Runtime 5.5 LTS (Nem támogatott) összes Spark-javítást és -fejlesztést, valamint a Spark következő további hibajavításait és fejlesztéseit:

[SPARK-27992][SPARK-28881][PYTHON] A hibák propagálásának engedélyezése a Python csatlakozási szálhoz való csatlakozásához
[SPARK-27330][SS]támogatási feladat megszakítása a foreach-íróban (6.0, 5.x)
[SPARK-28642][SQL] Hitelesítő adatok elrejtése a CREATE TABLE megjelenítése területen
[SPARK-28699][CORE] A meghatározatlan fázis megszakítására szolgáló sarokeset javítása
[SPARK-28647][WEBUI] További metrikafunkció helyreállítása
[SPARK-28766][R][DOC] Cran bejövő megvalósíthatósági figyelmeztetés javítása érvénytelen URL-cím esetén
[SPARK-28486][CORE][PYTHON] A PythonBroadcast adatfájljának leképezése BroadcastBlock-ra, hogy elkerülje a GC általi törlést
[SPARK-25035][CORE] Memórialeképezés elkerülése a lemezen tárolt blokkok replikálásakor
[SPARK-27234][SS][PYTHON] Az ÖrököltThreadLocal használata az EpochTracker aktuális korszakához (a Python UDF-ek támogatásához)
[SPARK-28638][WEBUI] A tevékenység összefoglalása csak a sikeres tevékenységek metrikáit tartalmazza
[SPARK-28153][PYTHON] Az AtomicReference használata az InputFileBlockHolderben (a Python UDF input_file_name támogatásához)
[SPARK-28564][CORE] A hozzáférési előzményalkalmazás alapértelmezés szerint az utolsó kísérletazonosítóra vált
[SPARK-28260] A fürt automatikusan leállhat, amíg a thriftserver-lekérdezés továbbra is lekéri az eredményeket
[SPARK-26152][CORE] Feldolgozókarbantartás szinkronizálása a feldolgozó leállításával
[SPARK-28545][SQL] Adja hozzá a kivonattérkép méretét az ObjectAggregationIterator iránynaplójához
[SPARK-28489][SS] Kijavítottunk egy hibát, amely miatt a KafkaOffsetRangeCalculator.getRanges elvetheti az eltolódásokat
[SPARK-28421][ML] SparseVector.apply performance optimization
[SPARK-28156][SQL] Az önbeillesztés nem hagyhat ki gyorsítótárazott nézetet
[SPARK-28152][SQL] A ShortType-et SMALLINT-re, a FloatType-t pedig REAL értékre képezte le az MsSqlServerDialect esetében
[SPARK-28054][SQL] Hiba javítása a Hive particionált tábla dinamikus beszúrásakor, ahol a partíció neve nagybetűs
[SPARK-27159][SQL] frissítse az mssql-kiszolgáló dialektusát a bináris típus támogatásához
[SPARK-28355][CORE][PYTHON] A Spark-conf használata a küszöbértékhez, ahol a...
[SPARK-27989][CORE] Újrapróbálkozások hozzáadva a k8s illesztőprogramhoz való csatlakozáshoz
[SPARK-27416][SQL] UnsafeMapData & UnsafeArrayData Kryo szerializálás ...
[SPARK-28430][UI] Szakasztábla renderelésének javítása, ha egyes tevékenységek metrikái hiányoznak
[SPARK-27485] A EnsureRequirements.reorder függvénynek szabályosan kell kezelnie az ismétlődő kifejezéseket
[SPARK-28404][SS] A RateStreamContinuousPartitionReader negatív időtúllépési értékének javítása
[SPARK-28378][PYTHON] A cgi.escape használatának eltávolítása
[SPARK-28371][SQL] Parquet "StartsWith" szűrő null-biztonságossá tétele
[SPARK-28015][SQL] Ellenőrizze, hogy a stringToDate() a teljes bemenetet felhasználja-e az yy és az yyyy-[m]m formátumhoz
[SPARK-28302][CORE] Győződjön meg arról, hogy egyedi kimeneti fájlt hoz létre a SparkLauncherhez Windows rendszeren
[SPARK-28308][CORE] A CalendarInterval sub-second részt ki kell párnázni az elemzés előtt
[SPARK-28170][ML][PYTHON] Uniform Vectors and Matrix documentation
[SPARK-28160][CORE] Kijavítottunk egy hibát, amely miatt a visszahívási függvény lefagyhat, ha a nem bejelölt kivétel kimaradt
[SPARK-27839][SQL] Módosítsa az UTF8String.replace() értéket UTF8 bájtos működésre
[SPARK-28157][CORE] Törölje az SHS-t a KVStore LogInfo-ból a feketelistán szereplő bejegyzésekhez
[SPARK-28128][PYTHON][SQL] pandas Csoportosított UDF-ek kihagyják az üres partíciókat
[SPARK-28012][SQL] A Hive UDF támogatja a strukturált típusú összecsukható kifejezést
[SPARK-28164] A start-slave.sh használati leírásának javítása
[SPARK-27100][SQL] A StackOverflowError megakadályozásához használja a Seq helyett a Tömböt a FilePartitionban
[SPARK-28154][ML] GMM fix double caching

Karbantartási frissítések

Lásd: Databricks Runtime 6.0 karbantartási frissítések.

Rendszerkörnyezet

Operációs rendszer: Ubuntu 16.04.6 LTS
Java: 1.8.0_232
Scala: 2.11.12
Python: 3.7.3
R: R 3.6.1-es verzió (2019-07-05)
Delta-tó: 0.3.0