2024. július
Ezek a funkciók és az Azure Databricks platform fejlesztései 2024 júliusában jelentek meg.
Feljegyzés
A kiadások szakaszosak. Előfordulhat, hogy az Azure Databricks-fiók csak egy vagy több héttel a kezdeti kiadási dátum után frissül.
Az egyidejű tevékenységekre vonatkozó megnövekedett korlát
2024. július 31.
Az egyidejűleg futó feladatok munkaterületi korlátja 2000-re nőtt. Lásd: Erőforráskorlátok.
Képek beágyazása és húzása jegyzetfüzetekben
2024. július 31.
Most már megjelenítheti a jegyzetfüzetekben lévő képeket úgy, hogy közvetlenül a Markdown-cellákba ágyazza őket. A képeket közvetlenül az asztalról a Markdown-cellákba húzva automatikusan feltöltheti és megjelenítheti őket. Lásd: Képek megjelenítése, képek húzása és húzása.
A jegyzetfüzetekben elérhető parancskatalógus
2024. július 31.
Mostantól gyorsan végrehajthat műveleteket a jegyzetfüzetben a parancskatalógus használatával. A Gyakran használt műveletek eléréséhez nyomja le a Cmd + Shift + P billentyűkombinációt MacOS rendszeren, vagy a Ctrl + Shift + P billentyűkombinációt Windows rendszeren, míg a jegyzetfüzetben. Lásd: Parancskatalógus.
Munkafolyamat-rendszerséma átnevezve lakeflow
2024. július 31.
A workflow séma frissítése folyamatban van a következőre lakeflow: . Javasoljuk, hogy váltson rá lakeflow , mert az tartalmazza az összes jelenlegi táblát, valamint a jövőben újakat is, például folyamatokat. Az ügyfeleknek be kell jelentkezniük a lakeflow sémába, hogy láthatóvá tegyék a metaadattárukban. Lásd: Feladatok rendszertábla-referenciája.
LakeFlow Connect (kapus nyilvános előzetes verzió)
2024. július 31.
A LakeFlow Connect natív összekötőket kínál, amelyekkel adatokat tölthet be adatbázisokból és vállalati alkalmazásokból, és betöltheti őket az Azure Databricksbe. A LakeFlow Connect hatékony növekményes olvasásokat és írásokat használ az adatbetöltés gyorsabb, skálázható és költséghatékonyabbá tételéhez, miközben az adatok frissek maradnak az alsóbb rétegbeli felhasználáshoz.
A Salesforce Sales Cloud, a Microsoft Azure SQL Database, az SQL Serverhez készült Amazon RDS és a Workday jelenleg támogatott. Lásd: LakeFlow Connect.
A Cloudflare R2 storage támogatása ga
2024. július 30.
Mostantól általánosan elérhető a Cloudflare R2 felhőalapú tárolóként való használata a Unity Katalógusban regisztrált adatokhoz. A Cloudflare R2 elsősorban deltamegosztási használati esetekre szolgál, amelyekben el szeretné kerülni a felhőszolgáltatók által a régiók közötti adatforgalom során felszámított adatforgalom-díjakat. Az R2 Storage az AWS S3, az Azure Data Lake Storage Gen2 és a Google Cloud Storage által támogatott összes Databricks-adatot és AI-eszközt támogatja. Az R2 támogatásához SQL Warehouse vagy Databricks Runtime 14.3 vagy újabb verzió szükséges. Lásd: Cloudflare R2-replikák használata vagy tároló áttelepítése R2-be , és tároló hitelesítő adatainak létrehozása a Cloudflare R2-hez való csatlakozáshoz.
Databricks Assistant-tevékenységek monitorozása rendszertáblákkal (nyilvános előzetes verzió)
2024. július 30.
A Databricks Assistant-tevékenységeket mostantól rendszertáblák használatával is monitorozhatja egy irányítópulton. További információkért lásd a Databricks Assistant rendszertáblákra vonatkozó hivatkozását és példáját.
A sémák deltamegosztással való megosztása mostantól ga
2024. július 30.
A sémák deltamegosztással való megosztásának lehetősége a GA. A teljes séma megosztása hozzáférést biztosít a címzettnek a séma összes táblája és nézete számára a megosztás pillanatában, valamint a jövőben a sémához hozzáadott táblákhoz és nézetekhez. A sémák SQL-parancsokkal való hozzáadásához sql-raktár vagy Databricks Runtime 13.2-t vagy újabb verziót futtató fürt szükséges. A Catalog Explorer használatával végzett műveletnek nincsenek számítási követelményei. Lásd: Séma hozzáadása megosztáshoz.
A Mozaik AI-ügynök keretrendszere elérhető a northcentralcentralus
2024. július 29.
A Mozaik AI-ügynök keretrendszere már elérhető a régiókban és centralus a northcentral régiókban. Tekintse meg Korlátozott regionális elérhetőségű funkciók témakört.
A Databricks Assistant képes diagnosztizálni a feladatokkal kapcsolatos problémákat (nyilvános előzetes verzió)
2024. július 29.
A Databricks Assistant mostantól képes diagnosztizálni a sikertelen feladatokkal kapcsolatos problémákat. Lásd: Feladatok hibáinak diagnosztizálása.
A Databricks Git-mappák hitelesítési és megosztási viselkedésének frissítései
2024. július 29.
- Git-mappa párbeszédpanel-alapú hitelesítés kezelése: A felhasználói élmény egyszerűbbé vált, így a felhasználók a Git-mappa párbeszédpanel megnyitásakor segíthetnek a hitelesítési hibákból való helyreállításban. A párbeszédpanelen közvetlenül frissítheti a Git hitelesítő adatait, ami automatikus újrapróbálkozási folyamatot indít el. Ezzel a megközelítéssel segíthet a hitelesítési hibák elhárításában.
- Hitelesítési hiba esetén a Git mappa párbeszédpaneljén megjelenik a Git-mappa szolgáltatója és URL-címe. Korábban ez rejtett volt, így nehéz megállapítani, hogy melyik Git-hitelesítő adatot kell használni a hiba megoldásához.
- Git-mappamegosztás: A felhasználók mostantól megoszthatnak egy URL-hivatkozást más munkaterület-felhasználókkal. Amikor megnyitja az URL-címet a címzett böngészőjében, a Databricks megnyitja és elindítja a meglévő Git-mappa hozzáadása párbeszédpanelt előre kitöltött értékekkel (például a Git-szolgáltatóval és a Git-adattár URL-címével). Ez leegyszerűsíti a Git-mappák klónozását a gyakran használt Git-adattárakban a munkaterület felhasználói között.
További részletekért tekintse meg az ajánlott eljárásokat: Együttműködés a Git-mappákban .
- A rendszer arra kéri a felhasználókat, hogy saját Git-mappákat hozzanak létre a saját munkaterületükön ahelyett, hogy együttműködve dolgoznak egy másik felhasználó Git-mappájában.
- A Git-mappa párbeszédpanel állapota most már megmarad az URL-címében. Ha a Git-mappa párbeszédpanel megnyitásakor másolja az URL-címet a böngészőből, az később is megnyitható, vagy megosztható egy másik felhasználóval, és ugyanezek az információk megjelennek.
- Git mappadiff nézet: A Git mappadiff nézetében sötétebb piros és zöld kiemelés lett hozzáadva a lecserélt szöveghez és több sornyi módosításhoz, így könnyebben meghatározható, hogy mi változott a nem véglegesített módosítások között.
- Ha megnyitja a Git mappa párbeszédpanelt egy jegyzetfüzetből vagy fájlszerkesztőből, kiválasztja a jegyzetfüzetet vagy a fájlt a Git mappa párbeszédpanelen, és alapértelmezés szerint megjeleníti a módosításokat (diffs).
Fürttár telepítési időtúllépése
2024. július 29.
A fürttár telepítése mostantól 2 órás időtúllépéssel rendelkezik. A 2 óránál hosszabb ideig telepítendő kódtárak sikertelenként lesznek megjelölve. A fürttárakról további információt a Fürttárak című témakörben talál.
A számítási sík kimenő IP-címeit hozzá kell adni a munkaterület IP-engedélyezési listájához
2024. július 29.
Ha biztonságos fürtkapcsolati és IP-hozzáférési listákat konfigurál egy új munkaterületen, fel kell vennie egy engedélyezési listába az összes nyilvános IP-címet, amelyet a számítási sík a vezérlősík engedélyezési listához való hozzáféréséhez vagy a háttérbeli privát kapcsolat konfigurálásához használ. Ez a módosítás 2024. július 29-én az összes új munkaterületre, a meglévő munkaterületekre pedig 2024. augusztus 26-án lesz hatással. További információkért lásd a Databricks közösségi bejegyzését.
Ha például egy virtuális hálózati injektálást használó munkaterületen engedélyezi a biztonságos fürtkapcsolatot, a Databricks azt javasolja, hogy a munkaterületen stabil kimenő nyilvános IP-cím legyen. A nyilvános IP-címet és a többit fel kell venni egy engedélyezési listába. Tekintse meg a kimenő IP-címeket a biztonságos fürtkapcsolat használatakor. Másik lehetőségként, ha Azure Databricks által felügyelt virtuális hálózatot használ, és konfigurálja a felügyelt NAT-átjárót a nyilvános IP-címek eléréséhez, ezeknek az IP-címeknek engedélyezési listán kell lenniük.
Lásd: IP-hozzáférési listák konfigurálása munkaterületekhez.
A Databricks Runtime 9.1 sorozat támogatása meghosszabbítva
2024. július 26.
A Databricks Runtime 9.1 LTS és a Databricks Runtime 9.1 LTS for Machine Learning támogatása 2024. szeptember 23-tól 2024. december 19-ig bővült.
Az egyszeri bejelentkezés (SSO) támogatott az SQL Serverhez készült Lakehouse Federationben
2024. július 25.
A Unity Catalog mostantól lehetővé teszi SQL Server-kapcsolatok létrehozását SSO-hitelesítéssel. Lásd: Összevont lekérdezések futtatása a Microsoft SQL Serveren.
A Delta Sharing használatával történő modellmegosztás általánosan elérhető
2024. július 26.
Az AI-modellek megosztásának deltamegosztási támogatása mostantól ga. A szolgáltatói és a címzett munkaterületeket egyaránt engedélyezni kell a Unity Katalógusban, a modelleket pedig regisztrálni kell a Unity Katalógusban.
Lásd: Modellek hozzáadása megosztáshoz.
Megjegyzések és elsődleges kulcskorlátozások megosztása a Delta Sharing használatával
2024. július 25.
A Delta-megosztás mostantól támogatja az objektum metaadatainak megosztását, beleértve a megjegyzéseket és az elsődleges kulcsokra vonatkozó korlátozásokat:
A modellhez fűzött megjegyzések és a modellverzióval kapcsolatos megjegyzések már egy ideje szerepelnek a Databricks-to-Databricks-megosztásokban, de nem jelentették be.
A 2024. július 25-én vagy azt követően megosztott Databricks-to-Databricks-megosztások mostantól tartalmazzák a táblázat megjegyzéseit, oszlopbejegyzéseit, elsődleges kulcskorlátozásait és mennyiségi megjegyzéseit.
Ha megjegyzéseket vagy korlátozásokat szeretne belefoglalni egy olyan megosztásba, amelyet az adott dátum előtt megosztottak egy címzettel, vissza kell vonnia és újra hozzá kell adnia a címzettnek a megjegyzés- és kényszermegosztás aktiválásához.
Lásd: Megosztások létrehozása és kezelése a Delta-megosztáshoz.
Új Databricks JDBC-illesztőprogram (OSS)
2024. július 25.
Nyilvános előzetes verzióban megjelent egy új nyílt forráskódú Databricks JDBC-illesztő. Ez az illesztőprogram implementálta a JDBC API-kat, és egyéb alapvető funkciókat is biztosít, például az OAuthot, a Cloud Fetcht és az olyan funkciókat, mint a Unity Catalog kötetbetöltése. További információ: Databricks JDBC Driver (OSS).
Databricks Runtime 15.4 LTS (bétaverzió)
2024. július 23.
A Databricks Runtime 15.4 LTS és a Databricks Runtime 15.4 LTS ML már bétaverzióként érhető el.
Lásd: Databricks Runtime 15.4 LTS és Databricks Runtime 15.4 LTS for Machine Learning.
A Scala ga a Unity Catalog megosztott számításán
2024. július 23.
A Databricks Runtime 15.4 LTS-ben és újabb verziókban a Scala általánosan elérhető a unitykatalógus-kompatibilis megosztott hozzáférési módban, beleértve a skaláris, felhasználó által definiált függvények (UDF-ek) támogatását is. A strukturált streamelés, a Hive UDF-ek és a Hive felhasználó által definiált összesítő függvények nem támogatottak. A korlátozások teljes listájáért tekintse meg a Unity Catalog számítási hozzáférési módra vonatkozó korlátozásait.
Az egyfelhasználós számítás támogatja a részletes hozzáférés-vezérlést, a materializált nézeteket és a streamelési táblákat
2024. július 23.
A Databricks Runtime 15.4 LTS támogatja a részletes hozzáférés-vezérlést az egyfelhasználós számításban, amennyiben a munkaterület engedélyezve van a kiszolgáló nélküli számításhoz. Amikor egy lekérdezés az alábbiak bármelyikéhez hozzáfér, a Databricks Runtime 15.4 LTS-en található egyetlen felhasználó számítási erőforrása átadja a lekérdezést a kiszolgáló nélküli számításnak az adatszűrés futtatásához:
- Táblákra épülő nézetek, amelyeken a felhasználó nem rendelkezik jogosultsággal
SELECT - Dinamikus nézetek
- Sorszűrőket vagy oszlopmaszkokat tartalmazó táblák
- Materialized views and streaming tables
Ezek a lekérdezések nem támogatottak a Databricks Runtime 15.3-on és az alatt futó egyfelhasználós számításban.
További információ: Részletes hozzáférés-vezérlés az egyfelhasználós számításban.
A csomópont idővonalának rendszertáblája már elérhető (nyilvános előzetes verzió)
2024. július 23.
A system.compute séma most már tartalmaz egy táblát node_timeline . Ez a táblázat percről percre naplózza a fiókban futtatott összes és feladat számítási erőforrásának kihasználtsági metrikáit. Lásd: Node timeline table schema.
Feljegyzés
A tábla eléréséhez a rendszergazdának engedélyeznie kell a compute sémát, ha még nem tette meg. Lásd: Rendszertábla-sémák engedélyezése.
A Meta Llama 3.1 mostantól támogatott a modellkiszolgálóban
2024. július 23.
A Mozaik AI-modellkiszolgáló a Meta szolgáltatással együttműködve támogatja a Meta által létrehozott és betanított Meta Llama 3.1 modellarchitektúrát, amelyet az Azure Machine Learning az AzureML modellkatalógusával terjeszt. A Llama 3.1 az Alapmodell API-k részeként támogatott. Lásd: Alapmodell API-k használata.
- A Meta-Llama-3.1-405B-Instruct és a Meta-Llama-3.1-70B-Instruct a végpontokat kiszolgáló, jogkivonatonkénti fizetéses régiókban érhető el.
- A Llama 3.1-modellek (8B, 70B és 405B) teljes csomagjának éles használata elérhető az USA-ban a kiosztott átviteli sebesség használatával.
2024. július 23-tól a Meta-Llama-3.1-70B-Instruct a Meta-Llama-3-70B-Instruct in Foundation Model API-k tokenenkénti fizetéses végpontjainak támogatását váltja fel.
Jegyzetfüzetek: láthatóbb cellacímek váltása
2024. július 18.
A felhasználók engedélyezhetik az előléptetett cellacímek megjelenítését a fejlesztői beállításaikban, hogy a jegyzetfüzet-cellacímek láthatóbbak legyenek a felhasználói felületen. Lásd: Előléptetett cellacímek
/ a munkaterület-objektumnevek elavultak
2024. július 17.
Az elérésiút-sztringek kétértelműségének elkerülése érdekében az új munkaterület-objektumok (például jegyzetfüzetek, mappák és lekérdezések) nevében a "/" használata elavult. A névben szereplő "/" névvel rendelkező meglévő eszközökre nincs hatással, de a meglévő eszközök átnevezése ugyanazokat a szabályokat követi, mint az új eszközök.
A Delta Sharing lehetővé teszi a folyékony fürtözést használó táblák megosztását
2024. július 16.
A Delta Sharing mostantól lehetővé teszi a folyékony fürtözéshez engedélyezett táblák megosztását, és a címzettek kötegelt lekérdezéseket futtathatnak ellenük. A folyékony fürtözés leegyszerűsíti az adatelrendezési döntéseket, és optimalizálja a lekérdezési teljesítményt. Lásd: Folyékony fürtözés használata Delta-táblákhoz és Delta Lake-funkciótámogatási mátrixhoz.
A lekérdezési előzmények rendszertáblája már elérhető (nyilvános előzetes verzió)
2024. július 16.
Az Azure Databricks rendszertáblái mostantól egy lekérdezéselőzménytáblát is tartalmaznak. Ez a táblázat naplózza az egyes lekérdezések részletes rekordjait, amelyek egy SQL-raktárban futnak a fiókjában. A tábla eléréséhez a rendszergazdáknak engedélyeznie kell az új query rendszerséma használatát. Lásd a lekérdezéselőzmények rendszertáblázatának hivatkozását.
A biztonságirés-ellenőrzési jelentések mostantól e-mailben kerülnek elküldve a rendszergazdáknak
2024. július 16.
A biztonságirés-ellenőrzési jelentések mostantól e-mailben lesznek elküldve a munkaterület rendszergazdáinak a fokozott biztonsági figyelést lehetővé tevő munkaterületeken. Korábban a munkaterület rendszergazdáinak le kellett kérniük őket az Azure Databrickstől. Lásd: Fokozott biztonsági monitorozás.
Partíció metaadatok naplózása külső Unity Catalog-táblákhoz
2024. július 15.
A Databricks Runtime 13.3 LTS-ben és újabb verziókban opcionálisan engedélyezheti a partíció metaadatainak naplózását a Unity Katalógusban regisztrált külső táblákhoz, amelyek Parquetet, ORC-t, CSV-t vagy JSON-t használnak. A partíció metatdata naplózása a Hive metaadattárával konzisztens partíciófelderítési stratégia. A külső táblák partíciófelderítését lásd.
A munkafolyamatok kiszolgáló nélküli számítása ga
2024. július 15.
A munkafolyamatok kiszolgáló nélküli számítása már általánosan elérhető. A munkafolyamatok kiszolgáló nélküli számítása lehetővé teszi az Azure Databricks-feladat futtatását az infrastruktúra konfigurálása és üzembe helyezése nélkül. A munkafolyamatok kiszolgáló nélküli számításával az Azure Databricks hatékonyan kezeli a feladatot futtató számítási erőforrásokat, beleértve a számítási feladatokhoz tartozó számítási feladatok optimalizálását és skálázását. Lásd: Azure Databricks-feladat futtatása kiszolgáló nélküli számítással munkafolyamatokhoz.
A notebookok kiszolgáló nélküli számítása ga
2024. július 15.
A notebookok kiszolgáló nélküli számítása mostantól általánosan elérhető. A notebookokhoz készült kiszolgáló nélküli számítás igény szerint hozzáférést biztosít a jegyzetfüzetekben lévő méretezhető számítási feladatokhoz, így azonnal írhat és futtathat Python- vagy SQL-kódot. Tekintse meg a jegyzetfüzetek kiszolgáló nélküli számítását.
A Pythonhoz készült Databricks Connect mostantól támogatja a kiszolgáló nélküli számítást
2024. július 15.
A Pythonhoz készült Databricks Connect mostantól támogatja a kiszolgáló nélküli számításhoz való csatlakozást. Ez a funkció nyilvános előzetes verzióban érhető el. Lásd: Kapcsolat konfigurálása kiszolgáló nélküli számítással.
Adatkimenetek szűrése természetes nyelvi kérésekkel
2024. július 11.
Mostantól a Databricks Assistant használatával természetes nyelvi kérésekkel szűrheti az adatkimeneteket. A Titanic túlélők adattáblájának szűréséhez például beírhatja a "Show me only males over 70" (Csak 70 év feletti férfiak megjelenítése) szöveget. Lásd: Adatok szűrése természetes nyelvi kérésekkel.
Egyszerű szöveges titkos kódok támogatása külső modellekhez
2024. július 11.
Mostantól közvetlenül is beírhatja az API-kulcsokat egyszerű szöveges sztringekként a külső modelleket futtató végpontokat kiszolgáló modellhez. Lásd: A szolgáltató konfigurálása végponthoz.
Idősoradatok előrejelzése a következő használatával: ai_forecast()
2024. július 11.
Az AI Functions mostantól támogatja ai_forecast()az elemzők és adattudósok számára készült új Databricks SQL-függvényt, amelynek célja az idősoradatok jövőbeli extrapolálása. Lásd ai_forecast függvényt.
Az SQL-fájlfeladatok támogatása többutas SQL-lekérdezésekkel rendelkező fájlok esetében a GA
2024. július 10.
Általánosan elérhető a többutas SQL-lekérdezéseket tartalmazó fájlok támogatása az SQL-fájlfeladattal. Ez a módosítás lehetővé teszi több SQL-utasítás futtatását egyetlen fájlból. Korábban minden utasításhoz külön fájlt kellett hozzáadnia. Az SQL-fájl feladatával kapcsolatos további információkért tekintse meg a feladatokhoz tartozó SQL-feladatot.
A Lakehouse Federation támogatja a Salesforce Data Cloudot (nyilvános előzetes verzió)
2024. július 10.
Mostantól összevont lekérdezéseket futtathat a Salesforce Data Cloud által kezelt adatokon. Lásd: Összevont lekérdezések futtatása a Salesforce Data Cloudon.
A Databricks Assistant rendszertáblája már elérhető (nyilvános előzetes verzió)
2024. július 10.
A Databricks Assistant eseményei mostantól egy, a következő helyen system.access.assistant_eventstalálható rendszertáblában vannak naplózva: . Lásd a Databricks Assistant rendszertáblákra vonatkozó hivatkozását és példáját.
Fiók SCIM API 2.1-es verziója (nyilvános előzetes verzió)
2024. július 10.
A fiók SCIM API-k a 2.0-s verzióról a 2.1-s verzióra frissülnek a sebesség és a megbízhatóság érdekében. Letöltheti a Account SCIM v2.1 API-referencia PDF-fájlját.
A Táblák erőforráskvóta-növekedése Unity Catalog-metaadattáronként
2024. július 3.
A Unity Catalog metaadattára mostantól akár egymillió táblát is regisztrálhat. Lásd: Erőforráskvóták.
A Databricks Assistant képes automatikusan diagnosztizálni a jegyzetfüzet hibáit
2024. július 2.
A Databricks Assistant mostantól automatikusan futtatható /fix a jegyzetfüzetekben, ha hibaüzenetet észlel. Az Assistant generatív AI használatával elemzi a kódot és a hibaüzenetet, hogy közvetlenül a jegyzetfüzetben javasoljon javítást. További információ: Hibakeresési kód: Python- és SQL-példák.
:param Az SQL-fájlfeladat szintaxisának támogatása: GA
2024. július 1.
Általánosan elérhető a :param szintaxis és a paraméteres lekérdezések használata az Azure Databricks Jobs SQL File-feladatban. Most már hivatkozhat a lekérdezési paraméterekre, ha a nevüket kettősponttal (:parameter_name) előtaggal adhatja meg. Ez a szintaxis a kettős kapcsos zárójelek ({{parameter_name}}) szintaxis meglévő támogatása mellett van. A paraméteres lekérdezések SQL File-feladattal való használatáról további információt a feladatparaméterek konfigurálása című témakörben talál.