Databricks Runtime 6.0 (stöds inte)

Artikel
03/01/2024

Databricks släppte den här bilden i oktober 2019.

Följande viktig information innehåller information om Databricks Runtime 6.0 som drivs av Apache Spark.

Nya funktioner

Python-miljö

Databricks Runtime 6.0 innehåller större ändringar i Python och hur Python-miljöer konfigureras, inklusive uppgradering av Python till 3.7.3, förfinar listan över installerade Python-paket och uppgraderar de installerade paketen till nyare versioner. Mer information finns i Installerade Python-bibliotek.

Dessutom stöder Databricks Runtime 6.0 inte Python 2, vilket tidigare har meddelats.

Några större ändringar är:

Uppgraderade Python från 3.5.2 till 3.7.3. Vissa gamla versioner av Python-paket kanske inte är framåtkompatibla med Python 3.7 eftersom de är beroende av gamla versioner av Cython som inte är kompatibla med Python 3.7. Installation av ett sådant paket kan utlösa fel som liknar ‘PyThreadState’ {‘struct _ts’} has no member named ‘exc_type’ (se GitHub-problem 1978 för mer information). Installera Python 3.7-kompatibla versioner av Python-paket i stället.
Större paketuppgraderingar:
- boto3 till 1.9.162
- ipython till 7.4.0
- matplotlib till 3.0.3
- numpy till 1.16.2
- pandas till 0.24.2
- pyarrow till 0.13.0
Jämfört med Databricks Runtime 5.5 LTS (stöds inte) ingår följande Python-paket nyligen: asn1crypto, backcall, jedi, kiwisolver, parso och PySocks.
Jämfört med Databricks Runtime 5.5 LTS (stöds inte)installeras inte följande Python-paket: ansi2html, brewer2mpl, colorama, configobj, enum34, et-xmlfile, freetype-py, funcsigs, fusepy, ggplot, html5lib, ipaddress, jdcal, Jinja2, llvmlite, lxml, Markup Valv, mpld3, msgpack-python, ndg-httpsclient, numba, openpyxl, pathlib2, Pillow, ply, pyasn1, pypng, python-geohash, scour, simplejson och singledispatch.
Funktionen display för Python-ggplot-objekt stöds inte längre eftersom ggplot-paketet inte är kompatibelt med nyare version av Pandas.
Inställningen PYSPARK_PYTHON till /databricks/python2/bin/python stöds inte eftersom Databricks Runtime 6.0 inte stöder Python 2. Ett kluster med en sådan inställning kan fortfarande starta. Python-notebook-filer och Python-kommandon fungerar dock inte, det vill säga Python-kommandoceller misslyckas med felet "Avbrytd" och ett Python shell failed to start fel visas i drivrutinsloggarna.
Om PYSPARK_PYTHON pekar på en Körbar Python-fil som finns i en miljö som hanteras av Virtualenv aktiveras den här miljön för init-skript och notebook-filer. Du kan använda python och pip kommandon som definieras i den aktiverade miljön direkt utan att behöva ange de absoluta platserna för dessa kommandon. Som standard PYSPARK_PYTHON är inställt på /databricks/python3/bin/python. Därför pekar och pekar som standard python på för init-skript och notebook-filer./databricks/python3/bin/pippip/databricks/python3/bin/python Om dina PYSPARK_PYTHON pekar på en Körbar Python-fil som inte finns i en miljö som hanteras av Virtualenv eller om du skriver ett init-skript för att skapa Python som anges av PYSPARK_PYTHONmåste du använda absoluta sökvägar för att få åtkomst till rätt python och pip. När Python-biblioteksisolering är aktiverat (det är aktiverat som standard) är den aktiverade miljön fortfarande den miljö som PYSPARK_PYTHON är associerad med. Vi rekommenderar att du använder biblioteksverktyget (dbutils.library) (äldre) för att ändra den isolerade miljön som är associerad med en Python-anteckningsbok.

Scala- och Java-API:er för Delta Lake DML-kommandon

Du kan nu ändra data i Delta-tabeller med hjälp av programmatiska API:er för borttagning, uppdatering och sammanslagning. Dessa API:er speglar syntaxen och semantiken för deras motsvarande SQL-kommandon och är bra för många arbetsbelastningar, till exempel långsamt föränderliga dimensionsåtgärder (SCD), sammanslagning av ändringsdata för replikering och upserts från strömmande frågor.

Mer information finns i Vad är Delta Lake?.

Scala- och Java-API:er för Delta Lake-verktygskommandon

Databricks Runtime har nu programmatiska API:er för kommandona vacuum och history -verktyget. Dessa API:er speglar syntaxen och semantiken för motsvarande SQL-kommandon som är tillgängliga i tidigare versioner av Databricks Runtime.

Du kan rensa filer som inte längre refereras till av en Delta-tabell och som är äldre än kvarhållningströskeln genom att köra vacuum på tabellen. vacuum Om du kör kommandot i tabellen dammsugs de kataloger som är associerade med Delta-tabellen rekursivt. Standardtröskelvärdet för kvarhållning av filerna är 7 dagar. Möjligheten att tidsförspringa tillbaka till en version som är äldre än kvarhållningsperioden går förlorad när du har kört vacuum. vacuum utlöses inte automatiskt.

Du kan hämta information om åtgärder, användare, tidsstämpel och så vidare för varje skrivning till en Delta-tabell genom att köra history kommandot . Åtgärderna returneras i omvänd kronologisk ordning. Som standard behålls tabellhistoriken i 30 dagar.

Mer information finns i Vad är Delta Lake?.

Diskcachelagring är tillgänglig för Azure Lsv2-instanser

[Diskcachelagring]] (.. /.. /optimizations/disk-cache.md) är nu aktiverat som standard för alla Lsv2-instanser.

Optimerad lagring med hjälp av lokala fil-API:er

API:er för lokala filer är användbara eftersom de gör att du kan komma åt filer från underliggande distribuerad objektlagring som lokala filer. I Databricks Runtime 6.0 har vi förbättrat FUSE-monteringen som gör det möjligt för lokala fil-API:er att hantera nyckelbegränsningar. Databricks Runtime 6.0 förbättrar läs- och skrivhastigheten avsevärt och stöder filer som är större än 2 GB. Om du behöver snabbare och mer tillförlitliga läsningar och skrivningar, till exempel för distribuerad modellträning, skulle den här förbättringen vara särskilt användbar. Dessutom skulle du inte behöva läsa in data till en lokal lagring för dina arbetsbelastningar, både spara kostnader och förbättra produktiviteten.

Mer information finns i Vad är Databricks-filsystemet (DBFS)?.

Flera matplotlib-diagram per notebook-cell

Nu kan du visa flera matplotlib-diagram per notebook-cell:

Multiple matplotlib plots in cell

Tjänstautentiseringsuppgifter för flera Azure Data Lake Storage Gen1-konton

Nu kan du konfigurera tjänstautentiseringsuppgifter för flera Åtkomst till Azure Data Lake Storage Gen1 från Azure Databricks-konton för användning i en enda Apache Spark-session. Det gör du genom att lägga till account.<account-name> i konfigurationsnycklarna. Om du till exempel vill konfigurera autentiseringsuppgifter för konton för att komma åt båda adl://example1.azuredatalakestore.net och adl://example2.azuredatalakestore.netkan du göra detta på följande sätt:

spark.conf.set("fs.adl.oauth2.access.token.provider.type", "ClientCredential")

spark.conf.set("fs.adl.account.example1.oauth2.client.id", "<application-id-example1>")
spark.conf.set("fs.adl.account.example1.oauth2.credential", dbutils.secrets.get(scope = "<scope-name>", key = "<key-name-for-service-credential-example1>"))
spark.conf.set("fs.adl.account.example1.oauth2.refresh.url", "https://login.microsoftonline.com/<directory-id-example1>/oauth2/token")

spark.conf.set("fs.adl.account.example2.oauth2.client.id", "<application-id-example2>")
spark.conf.set("fs.adl.account.example2.oauth2.credential", dbutils.secrets.get(scope = "<scope-name>", key = "<key-name-for-service-credential-example2>"))
spark.conf.set("fs.adl.account.example2.oauth2.refresh.url", "https://login.microsoftonline.com/<directory-id-example2>/oauth2/token")

Förbättringar

Uppgraderade AWS SDK till 1.11.596.
Uppgraderade Azure Storage SDK i WASB-drivrutinen till 7.0.
OPTIMIZE innehåller nu en sammanfattning av mått, till exempel antal filer som lagts till, antal filer som tagits bort och maximal och minsta filstorlek. Se Komprimera datafiler med optimera på Delta Lake.

Borttagning

Databricks ML-modellexport tas bort. Använd MLeap för att importera och exportera modeller i stället.

Apache Spark

Kommentar

Den här artikeln innehåller referenser till termen slave, en term som Azure Databricks inte använder. När termen tas bort från programvaran tar vi bort den från den här artikeln.

Databricks Runtime 6.0 innehåller Apache Spark 2.4.3. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 5.5 LTS (stöds inte) samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:

[SPARK-27992][SPARK-28881][PYTHON] Tillåt att Python ansluter med anslutningstråd för att sprida fel
[SPARK-27330][SS]supportaktiviteten avbröts i foreach-skrivaren (6.0, 5.x)
[SPARK-28642][SQL] Dölj autentiseringsuppgifter i VISA SKAPA TABELL
[SPARK-28699][CORE] Åtgärda ett hörnfall för att avbryta obestämd fas
[SPARK-28647][WEBUI] Återställa ytterligare måttfunktion
[SPARK-28766][R] [DOC] Åtgärda cran inkommande genomförbarhetsvarning på ogiltig URL
[SPARK-28486][CORE] [PYTHON] Mappa PythonBroadcasts datafil till en BroadcastBlock för att undvika borttagning av GC
[SPARK-25035][CORE] Undvika minnesmappning vid disklagring blockerar replikering
[SPARK-27234][SS] [PYTHON] Använd InheritableThreadLocal för aktuell epok i EpochTracker (för att stödja Python UDF:er)
[SPARK-28638][WEBUI] Aktivitetssammanfattning bör endast innehålla mått för lyckade aktiviteter
[SPARK-28153][PYTHON] Använda AtomicReference på InputFileBlockHolder (för att stödja input_file_name med Python UDF)
[SPARK-28564][CORE] Programmet för åtkomsthistorik är som standard det senaste försökets ID
[SPARK-28260] Klustret kan avslutas automatiskt medan thriftserverfrågan fortfarande hämtar resultat
[SPARK-26152][CORE] Synkronisera rensning av arbetare med arbetsavstängning
[SPARK-28545][SQL] Lägg till hash-kartstorleken i riktningsloggen för ObjectAggregationIterator
[SPARK-28489][SS] Åtgärda en bugg som KafkaOffsetRangeCalculator.getRanges kan släppa förskjutningar
[SPARK-28421][ML] SparseVector.apply prestandaoptimering
[SPARK-28156][SQL] Självkoppling bör inte missa cachelagrad vy
[SPARK-28152][SQL] Mappade ShortType till SMALLINT och FloatType till REAL för MsSqlServerDialect
[SPARK-28054][SQL] Åtgärda fel vid dynamisk infogning av Hive-partitionerad tabell där partitionsnamnet är versaler
[SPARK-27159][SQL] uppdatera mssql-serverdialekten för att stödja binär typ
[SPARK-28355][CORE] [PYTHON] Använd Spark-konfiguration för tröskelvärdet där...
[SPARK-27989][CORE] Nya försök har lagts till för anslutningen till drivrutinen för k8s
[SPARK-27416][SQL] UnsafeMapData & UnsafeArrayData Kryo serialisering ...
[SPARK-28430][Användargränssnitt] Åtgärda stegtabellrendering när vissa uppgifters mått saknas
[SPARK-27485] EnsureRequirements.reorder ska hantera duplicerade uttryck på ett korrekt sätt
[SPARK-28404][SS] Åtgärda negativt timeout-värde i RateStreamContinuousPartitionReader
[SPARK-28378][PYTHON] Ta bort användningen av cgi.escape
[SPARK-28371][SQL] Gör Parquet "StartsWith" filter null-safe
[SPARK-28015][SQL] Kontrollera stringToDate() förbrukar hela indata för åååå- och ååå-[m]m-format
[SPARK-28302][CORE] Se till att generera en unik utdatafil för SparkLauncher i Windows
[SPARK-28308][CORE] CalendarInterval under andra delen ska vara vadderad innan parsning
[SPARK-28170][ML] [PYTHON] Dokumentation om enhetliga vektorer och matriser
[SPARK-28160][CORE] Åtgärda en bugg som återanropsfunktionen kan hänga sig när ett omarkerat undantag har missats
[SPARK-27839][SQL] Ändra UTF8String.replace() så att det fungerar på UTF8-byte
[SPARK-28157][CORE] Gör SHS klart KVStore LogInfo för de svartlistade posterna
[SPARK-28128][PYTHON] [SQL] Pandas Grupperade UDF:er hoppar över tomma partitioner
[SPARK-28012][SQL] Hive UDF stöder vikbart uttryck av struct-typ
[SPARK-28164] Åtgärda användningsbeskrivning för start-slave.sh
[SPARK-27100][SQL] Använd matris i stället för Seq i FilePartition för att förhindra StackOverflowError
[SPARK-28154][ML] GMM åtgärdar dubbel cachelagring

Underhållsuppdateringar

Se Underhållsuppdateringar för Databricks Runtime 6.0.

Systemmiljö

Operativsystem: Ubuntu 16.04.6 LTS
Java: 1.8.0_232
Scala: 2.11.12
Python: 3.7.3
R: R version 3.6.1 (2019-07-05)
Delta lake: 0.3.0