Databricks Runtime 6.0 (nem támogatott)

Cikk
03/01/2024

A Databricks 2019 októberében adta ki ezt a képet.

Az alábbi kibocsátási megjegyzések az Apache Spark által üzemeltetett Databricks Runtime 6.0-ról nyújtanak információkat.

Új funkciók

Python-környezet

A Databricks Runtime 6.0 tartalmazza a Python és a Python-környezetek konfigurálásának főbb változásait, beleértve a Python 3.7.3-ra való frissítését, a telepített Python-csomagok listájának pontosítását és a telepített csomagok újabb verziókra való frissítését. További információ: Telepített Python-kódtárak.

Emellett, ahogy korábban bejelentették, a Databricks Runtime 6.0 nem támogatja a Python 2-t.

A főbb változások a következők:

A Python 3.5.2-ről 3.7.3-ra frissült. Előfordulhat, hogy a Python-csomagok egyes régi verziói nem kompatibilisek a Python 3.7-es verziójával, mert a Cython régi verzióitól függenek, amelyek nem kompatibilisek a Python 3.7-es verziójával. Egy ilyen csomag telepítése hasonló ‘PyThreadState’ {‘struct _ts’} has no member named ‘exc_type’ hibákat válthat ki (részletekért lásd a GitHub 1978-ra vonatkozó problémáját). Telepítse helyette a Python-csomagok Python 3.7-kompatibilis verzióit.
Főbb csomagfrissítések:
- boto3–1.9.162
- ipythonról 7.4.0-ra
- matplotlib–3.0.3
- numpy to 1.16.2
- pandas to 0.24.2
- pyarrow to 0.13.0
A Databricks Runtime 5.5 LTS-sel (nem támogatott) összehasonlítva a következő Python-csomagok találhatók meg újonnan: asn1crypto, backcall, jedi, kiwisolver, parso és PySocks.
A Databricks Runtime 5.5 LTS -hez (nem támogatott) képest a következő Python-csomagok nincsenek telepítve: ansi2html, brewer2mpl, colorama, configobj, enum34, et-xmlfile, freetype-py, funcsigs, fusepy, ggplot, html5lib, ipaddress, jdcal, Jinja2, llvmlite, lxml, Markup Széf, mpld3, msgpack-python, ndg-httpsclient, numba, openpyxl, pathlib2, Pillow, ply, pyasn1, pypng, python-geohash, scour, simplejson és singledispatch.
A display Python ggplot-objektumok függvénye már nem támogatott, mert a ggplot-csomag nem kompatibilis a pandas újabb verziójával.
/databricks/python2/bin/python A beállítás PYSPARK_PYTHON nem támogatott, mert a Databricks Runtime 6.0 nem támogatja a Python 2-t. Az ilyen beállításokkal rendelkező fürtök továbbra is elindulhatnak. A Python-jegyzetfüzetek és a Python-parancsok azonban nem működnek, vagyis a Python-parancscellák "Megszakítva" hibával meghiúsulnak, és Python shell failed to start hiba jelenik meg az illesztőprogram-naplókban.
Ha PYSPARK_PYTHON a Virtualenv által felügyelt környezetben futtatható Python-futtathatóra mutat, a környezet init szkriptekhez és jegyzetfüzetekhez lesz aktiválva. Az aktivált környezetben definiált parancsokat és pip parancsokat közvetlenül anélkül használhatjapython, hogy meg kellene adnia ezeknek a parancsoknak az abszolút helyét. Alapértelmezés szerint PYSPARK_PYTHON a következőre /databricks/python3/bin/pythonvan állítva: . Így alapértelmezés szerint python init szkriptekre és pip jegyzetfüzetekre mutat /databricks/python3/bin/python és mutat /databricks/python3/bin/pip. Ha olyan PYSPARK_PYTHON Python-végrehajthatóra mutat, amely nem a Virtualenv által felügyelt környezetben található, vagy init szkriptet ír a megadott Python PYSPARK_PYTHONlétrehozásához, akkor abszolút elérési utakat kell használnia a helyes és pipa .python Ha a Python-kódtár elkülönítése engedélyezve van (alapértelmezés szerint engedélyezve van), az aktivált környezet továbbra is az a környezet, amelyhez PYSPARK_PYTHON társítva van. Javasoljuk, hogy a Python-jegyzetfüzethez társított izolált környezet módosításához használja a Library segédprogramot (dbutils.library) (örökölt).

Scala és Java API-k Delta Lake DML-parancsokhoz

Mostantól programozott API-k használatával módosíthatja a Delta-táblák adatait törlésre, frissítésre és egyesítésre. Ezek az API-k tükrözik a megfelelő SQL-parancsok szintaxisát és szemantikáját, és számos számítási feladathoz kiválóan használhatók, például lassan változó dimenziós (SCD- ) műveletekhez, a replikáció változásadatainak egyesítéséhez és a streamelési lekérdezések frissítéséhez.

További részletekért lásd : Mi az a Delta Lake?.

Scala és Java API-k a Delta Lake segédprogram parancsaihoz

A Databricks Runtime mostantól programozott API-kkal rendelkezik az és history a vacuum segédprogram-parancsokhoz. Ezek az API-k a Databricks Runtime korábbi verzióiban elérhető megfelelő SQL-parancsok szintaxisát és szemantikáját tükrözik.

A tábla futtatásával vacuum törölheti azokat a fájlokat, amelyekre már nem hivatkozik deltatábla, és amelyek régebbiek a megőrzési küszöbértéknél. A tábla parancsának vacuum futtatása rekurzívan vákuumozza a Delta táblához társított könyvtárakat. A fájlok alapértelmezett megőrzési küszöbértéke 7 nap. A megőrzési időnél régebbi verzióra való visszautazás lehetősége a futtatás vacuumután elveszik. A vacuum nincs automatikusan aktiválva.

A parancs futtatásával history lekérheti a műveletekkel, a felhasználóval, az időbélyegzővel stb. kapcsolatos információkat minden egyes íráshoz egy Delta-táblába. A rendszer fordított időrendi sorrendben adja vissza a műveleteket. Alapértelmezés szerint a táblaelőzmények 30 napig maradnak meg.

További részletekért lásd : Mi az a Delta Lake?.

Az Azure Lsv2-példányokhoz elérhető lemez gyorsítótárazása

[Lemez gyorsítótárazása]] (.. /.. A /optimizations/disk-cache.md) mostantól alapértelmezés szerint engedélyezve van az összes Lsv2-példány esetében.

Optimalizált tárolás helyi fájl API-k használatával

A helyi fájl API-k hasznosak, mivel lehetővé teszik a mögöttes elosztott objektumtárolóból származó fájlok helyi fájlként való elérését. A Databricks Runtime 6.0-ban bővítettük a FU Standard kiadás csatlakoztatást, amely lehetővé teszi a helyi fájl API-k számára a kulcskorlátozások kezelését. A Databricks Runtime 6.0 jelentősen javítja az olvasási és írási sebességet, és támogatja a 2 GB-nál nagyobb fájlokat. Ha gyorsabb és megbízhatóbb olvasási és írási műveletekre van szüksége, például az elosztott modell betanításához, ez a fejlesztés különösen hasznosnak bizonyulhat. Emellett nem kell adatokat betöltenie egy helyi tárolóba a számítási feladatokhoz, ami költségmegtakarítást és a termelékenység növelését is lehetővé teszi.

További részletekért lásd : Mi az a Databricks fájlrendszer (DBFS)?.

Több matplotlib-diagram jegyzetfüzetcellánként

Mostantól jegyzetfüzetcellánként több matplotlib-diagramot is megjeleníthet:

Multiple matplotlib plots in cell

Szolgáltatás hitelesítő adatai több Azure Data Lake Storage Gen1-fiókhoz

Most már beállíthatja a szolgáltatás hitelesítő adatait az Azure Databricks-fiókokból több Azure Data Lake Storage Gen1-hez való hozzáféréshez egyetlen Apache Spark-munkamenetben való használatra. Ehhez adja hozzá account.<account-name> a konfigurációs kulcsokat. Ha például hitelesítő adatokat szeretne beállítani a fiókokhoz mind a kettő adl://example1.azuredatalakestore.netadl://example2.azuredatalakestore.neteléréséhez, ezt a következőképpen teheti meg:

spark.conf.set("fs.adl.oauth2.access.token.provider.type", "ClientCredential")

spark.conf.set("fs.adl.account.example1.oauth2.client.id", "<application-id-example1>")
spark.conf.set("fs.adl.account.example1.oauth2.credential", dbutils.secrets.get(scope = "<scope-name>", key = "<key-name-for-service-credential-example1>"))
spark.conf.set("fs.adl.account.example1.oauth2.refresh.url", "https://login.microsoftonline.com/<directory-id-example1>/oauth2/token")

spark.conf.set("fs.adl.account.example2.oauth2.client.id", "<application-id-example2>")
spark.conf.set("fs.adl.account.example2.oauth2.credential", dbutils.secrets.get(scope = "<scope-name>", key = "<key-name-for-service-credential-example2>"))
spark.conf.set("fs.adl.account.example2.oauth2.refresh.url", "https://login.microsoftonline.com/<directory-id-example2>/oauth2/token")

Fejlesztések

Az AWS SDK 1.11.596-ra frissült.
Frissítette az Azure Storage SDK-t a WASB-illesztőben 7.0-ra.
OPTIMIZE Most olyan metrikák összegzését adja meg, mint a hozzáadott fájlok száma, az eltávolított fájlok száma, valamint a fájlok maximális és minimális mérete. Lásd: Adatfájlok tömörítése optimalizálással a Delta Lake-en.

Eltávolítása

A Databricks ML-modell exportálása el lesz távolítva. Ehelyett használja az MLeap-t modellek importálásához és exportálásához.

Apache Spark

Feljegyzés

Ez a cikk a rabszolga kifejezésre hivatkozik, amely az Azure Databricks által nem használt kifejezés. Ha a kifejezés el lesz távolítva a szoftverből, a cikkből is eltávolítjuk.

A Databricks Runtime 6.0 tartalmazza az Apache Spark 2.4.3-at. Ez a kiadás tartalmazza a Databricks Runtime 5.5 LTS (nem támogatott) összes Spark-javítását és fejlesztését, valamint a Spark következő további hibajavításait és fejlesztéseit:

[SPARK-27992][SPARK-28881][PYTHON] A Python csatlakozásának engedélyezése kapcsolati szállal a hibák propagálásához
[SPARK-27330][SS]support task abort in foreach writer (6.0, 5.x)
[SPARK-28642][SQL] Hitelesítő adatok elrejtése a CREATE TABLE megjelenítése alkalmazásban
[SPARK-28699][CORE] A határozatlan fázis megszakításához használt sarokeset javítása
[SPARK-28647][WEBUI] További metrikafunkció helyreállítása
[SPARK-28766][R] [DOC] CrAN bejövő megvalósíthatósági figyelmeztetés javítása érvénytelen URL-címen
[SPARK-28486][CORE] [PYTHON] A PythonBroadcast adatfájljának leképezése BroadcastBlock-ra a GC általi törlés elkerülése érdekében
[SPARK-25035][CORE] Memórialeképezés elkerülése a lemezen tárolt blokkok replikációjakor
[SPARK-27234][SS] [PYTHON] Az InheritableThreadLocal használata az EpochTracker aktuális korszakához (a Python UDF-ek támogatásához)
[SPARK-28638][WEBUI] A tevékenység összegzése csak a sikeres tevékenységek metrikáit tartalmazza
[SPARK-28153][PYTHON] Az AtomicReference használata az InputFileBlockHolderben (a Python UDF input_file_name támogatásához)
[SPARK-28564][CORE] Az Access-előzményalkalmazás alapértelmezés szerint az utolsó kísérletazonosítóra van bekapcsolva
[SPARK-28260] A fürt automatikusan leállhat, miközben a thriftserver-lekérdezés még mindig lekéri az eredményeket
[SPARK-26152][CORE] Feldolgozói karbantartás szinkronizálása a feldolgozó leállításával
[SPARK-28545][SQL] Adja hozzá a kivonattérkép méretét az ObjectAggregationIterator iránynaplójához
[SPARK-28489][SS] Kijavítottuk azt a hibát, amely miatt a KafkaOffsetRangeCalculator.getRanges elvetheti az eltolódásokat
[SPARK-28421][ML] SparseVector.apply performance optimization
[SPARK-28156][SQL] Az öncsatlakozás nem hagyható ki a gyorsítótárazott nézetből
[SPARK-28152][SQL] ShortType leképezése SMALLINT-re és FloatType-ra VALÓS értékre msSqlServerDialect esetén
[SPARK-28054][SQL] Hiba kijavítása a Hive particionált tábla dinamikus beszúrásakor, ahol a partíció neve nagybetűs
[SPARK-27159][SQL] frissítse az mssql-kiszolgáló dialektusát a bináris típus támogatásához
[SPARK-28355][CORE] [PYTHON] A Spark conf használata a küszöbértékhez, ahol a com...
[SPARK-27989][CORE] Újrapróbálkozások a k8s illesztőprogramhoz való csatlakozáshoz
[SPARK-27416][SQL] UnsafeMapData & UnsafeArrayData Kryo szerializálás ...
[SPARK-28430][Felhasználói felület] Szakasztábla-renderelés javítása, ha egyes tevékenységek metrikái hiányoznak
[SPARK-27485] A EnsureRequirements.reordernek elegánsan kell kezelnie az ismétlődő kifejezéseket
[SPARK-28404][SS] Negatív időtúllépési érték javítása a RateStreamContinuousPartitionReaderben
[SPARK-28378][PYTHON] A cgi.escape használatának eltávolítása
[SPARK-28371][SQL] Parquet "StartsWith" szűrő null-biztonságossá tétele
[SPARK-28015][SQL] Ellenőrizze, hogy a stringToDate() az yyyy és az y-[m]m formátumok teljes bemenetét használja-e
[SPARK-28302][CORE] Győződjön meg arról, hogy egyedi kimeneti fájlt hoz létre a SparkLauncherhez Windows rendszeren
[SPARK-28308][CORE] A CalendarInterval sub-second részt az elemzés előtt ki kell párnázni
[SPARK-28170][ML] [PYTHON] Egységes vektorok és mátrix dokumentációja
[SPARK-28160][CORE] Kijavítottuk azt a hibát, amely miatt a visszahívási függvény lefagyhat, ha a nem ellenőrzött kivétel kimaradt
[SPARK-27839][SQL] Az UTF8String.replace() módosítása UTF8 bájton való működéshez
[SPARK-28157][CORE] Az SHS törlése a KVStore LogInfo-ból a feketelistán szereplő bejegyzések esetében
[SPARK-28128][PYTHON] [SQL] pandas Csoportosított UDF-ek kihagyják az üres partíciókat
[SPARK-28012][SQL] A Hive UDF támogatja a strukturált típusú összecsukható kifejezést
[SPARK-28164] A start-slave.sh használati leírásának javítása
[SPARK-27100][SQL] A StackOverflowError megelőzéséhez használja a Tömböt a FilePartitionBan a Seq helyett
[SPARK-28154][ML] GMM– dupla gyorsítótárazás javítása

Karbantartási frissítések

Lásd a Databricks Runtime 6.0 karbantartási frissítéseit.

Rendszerkörnyezet

Operációs rendszer: Ubuntu 16.04.6 LTS
Java: 1.8.0_232
Scala: 2.11.12
Python: 3.7.3
R: R 3.6.1-es verzió (2019-07-05)
Delta Lake: 0.3.0