2024. augusztus

Ezek a funkciók és az Azure Databricks platform fejlesztései 2024 augusztusában jelentek meg.

Feljegyzés

A kiadások szakaszosak. Előfordulhat, hogy az Azure Databricks-fiók csak egy vagy több héttel a kezdeti kiadási dátum után frissül.

A Unity Catalog objektumhasználatának figyelése kvótákon az új erőforráskvóták API-kkal

2024. augusztus 30.

Az új erőforráskvóták API-k lehetővé teszik a Unity Catalog biztonságos objektumainak erőforráskvótákon való használatát. Hamarosan e-mailes értesítéseket is kaphat, ha megközelíti a kvótakorlátokat. Lásd : A Unity Catalog-erőforráskvóták használatának monitorozása és az Erőforráskvóták API-referencia.

MPT 7B Instruct and MPT 30B Instruct model retirements

2024. augusztus 30.

Az MPT 7B Instruct és az MPT 30B Instruct modellek mostantól kivonva. Az ajánlott cseremodellekért tekintse meg a kivezetett modelleket .

Az AskSupport helyére az Azure Databricks assistant lép

2024. augusztus 29.

Az AskSupport, a Databricks Slack-alapú támogatási csatorna a Databricks-munkaterületen elérhető Databricks Assistantre váltott. A Databricks Assistant segítségével műszaki dokumentációt kereshet, jegyeket hozhat létre, és környezettudatos támogatást kaphat.

Az AI Assistant használatához engedélyezni kell az AI Assistant használatát a fiókkonzolon.

Importálható költségkezelési irányítópult hozzáadva a fiókkonzolhoz (nyilvános előzetes verzió)

2024. augusztus 28.

A fiókadminisztrátor mostantól importálhat egy testreszabható költségkezelési irányítópultot a fiókkonzolról a fiók bármely Unity Catalog-munkaterületére. Az irányítópultnak két verziója van: az egyik a fiókszintű használatot figyeli, a másik pedig az egy munkaterületes használatot.

A Lakeflow rendszertáblái további oszlopokkal bővülnek

2024. augusztus 23.

A séma táblái system.lakeflow további oszlopokkal bővülnek. A következő módosítások történtek:

• jobs oszlopra van kiterjesztve description .
• job_run_timelineki van terjesztve a , run_name, compute_idstermination_code és job_parameters oszlopokkalrun_type.
• job_task_run_timelineoszlopokkal és termination_code oszlopokkal job_run_idparent_run_id bővül.

A sémamódosítás nem törik meg, és nem szakítja meg a meglévő munkafolyamatokat. Az új oszlopok nem töltődnek vissza a már kibocsátott sorokhoz. További információ: Feladatok rendszertábla-referenciája.

Python-kódformázási hibák kiemelései

2024. augusztus 23.

A jegyzetfüzetekben és fájlszerkesztőkben található Python-kód kiemelheti a formázási hibákat és figyelmeztetéseket, például a váratlan behúzást, a hosszú sorhosszt és egyebeket. Lásd a Python-formázás kiemelését.

Delta-megosztás: A Python- és Power BI-összekötők által támogatott további Delta Lake-funkciók

2024. augusztus 21.

A Delta Sharing Python-összekötő 1.1.0+ és a Power BI v2.132.908.0+ mostantól támogatja a következőt:

• Oszlopleképezés névmódja
• Törlési vektorok
• Egységes formátum

Ezeket a Delta Lake-funkciókat már támogatták a Databricks Runtime 14.1+ és a nyílt forráskódú Delta Sharing Apache Spark-összekötő 3.1+.

Lásd a Delta Lake szolgáltatástámogatási mátrixát.

A Delta Sharing támogatja a TimestampNTZ-t

2024. augusztus 21.

A Delta Sharing támogatja a Databricks Runtime 14.1-en és újabb verziókon futó TimestampNTZ-t, valamint a nyílt forráskódú Delta Sharing Apache Spark-összekötő 3.3-at és újabb verzióját.

Lásd a Delta Lake szolgáltatástámogatási mátrixát.

Az Azure Databricks-feladatok For each feladata a GA

2024. augusztus 21.

A For each feladat már általánosan elérhető. A tevékenység használatával For each futtathat egy másik feladatot egy ciklusban, és más paraméterkészletet adhat át a tevékenység egyes iterációinak. A For each feladat iterálhat bármely szabványos feladatfeladaton, például jegyzetfüzeten, JAR-en, Python-szkripten vagy SQL-feladaton. Lásd: Paraméteres Azure Databricks-feladatfeladat futtatása ciklusban.

Azure RBAC-engedély munkaterület-rendszergazdáknak

2024. augusztus 20.

Korábban a beépített Azure RBAC (szerepköralapú hozzáférés-vezérlés) közreműködői vagy tulajdonosi szerepkörre volt szükség ahhoz, hogy a felhasználó azure Databricks-munkaterület rendszergazdai szerepkört kapjon az Azure-tól. Most már létrehozhat egy egyéni Azure RBAC-szerepkört, amely engedéllyel rendelkezik Microsoft.Databricks/workspaces/assignWorkspaceAdmin/action ahhoz, hogy a felhasználónak azure Databricks-munkaterületi rendszergazdai szerepkört adjon. Ezek a felhasználók kezelhetik az Azure Databricks szolgáltatást, és konfigurálhatják a diagnosztikai naplózást. További információ: Kötelező Azure-rendszergazdai engedélyek.

A Databricks Runtime 15.4 LTS ga

2024. augusztus 19.

A Databricks Runtime 15.4 LTS és a Databricks Runtime 15.4 LTS ML már általánosan elérhető.

Lásd: Databricks Runtime 15.4 LTS és Databricks Runtime 15.4 LTS for Machine Learning.

Személyre szabott jegyzetfüzet automatikus kiegészítése

2024. augusztus 19.

A jegyzetfüzet automatikus kiegészítése mostantól az egyes Unity-katalógus metaadatai és használata alapján rangsorolja a javaslatokat, és egyéni javaslatok rangsorolását biztosítja az egyes felhasználók számára. Lásd: Személyre szabott automatikus kiegészítés

A munkaterület alapértelmezett hozzáférési módjának konfigurálása a feladatok kiszámításához

2024. augusztus 16.

A munkaterület rendszergazdái mostantól konfigurálhatják az alapértelmezett hozzáférési módot a munkaterületükön kiszámított feladatokhoz. Ez az alapértelmezett hozzáférési mód meghatározott hozzáférési mód nélküli számítási erőforrásokra lesz alkalmazva. További információ: A feladatok számítási alapértelmezett hozzáférési módja.

Új perjelparancsok a Databricks Assistanthez

2024. augusztus 14.

A Databricks Assistant a következő perjelparancsokat adta hozzá a gyakori feladatokhoz:

• /findTables: A Unity Catalog metaadatai alapján keres releváns táblákat.
• /findQueries: A Unity Catalog metaadatai alapján keres releváns lekérdezéseket.
• /prettify: Kód formázása olvashatósághoz.
• /rename: A környezettől függően frissített neveket javasol a jegyzetfüzetcellákra és más elemekre.
• /settings: Közvetlenül az Asszisztensből állítja be a jegyzetfüzet beállításait.

További információ: Perjelparancsok használata a parancssorokhoz.

A munkaterület-keresés mostantól támogatja a köteteket

2024. augusztus 14.

A kötetek mostantól bekerülnek a keresési eredményekbe. Lásd: Munkaterület-objektumok keresése.

A Mozaik AI-modell betanításában támogatott Meta Llama 3.1 405B modellek

2024. augusztus 14.

A Meta Llama 3.1 405B modellek mostantól támogatottak a Mozaik AI-modell betanításában. Lásd a támogatott modelleket.

Databricks JDBC-illesztő 2.6.40

2024. augusztus 13.

A Databricks JDBC Driver 2.6.40-es verziója már elérhető a JDBC-illesztőprogram letöltéséből. Ez a kiadás eltávolítja a redundáns WARNING naplóüzeneteket a naplózás használhatóságának és biztonságának növelése érdekében.

Ez a kiadás a következő fejlesztéseket és új funkciókat tartalmazza:

• Az OIDC felderítési végpont támogatása. Az illesztőprogram mostantól beállíthat egy OIDC felderítési végpontot egy jogkivonat lekéréséhez és egy engedélyezési végpont lekéréséhez.
• Frissített nyíl támogatása. Az illesztőprogram most már az Apache Arrow 14.0.2-es verzióját használja. Az illesztőprogram korábbi verziói az Apache Arrow 9.0.0-s verzióját használták.
• ProxyIgnoreList támogat. Az illesztőprogram mostantól támogatja ProxyIgnoreList a tulajdonságot, ha UseProxy be van állítva.1
• Frissítési jogkivonat támogatása. Az illesztőprogram mostantól támogatja az opcionális frissítési jogkivonatot. Menti a hozzáférési jogkivonatot, és újra felhasználja az új kapcsolatokhoz, amíg érvényes. Ha az illesztőprogram nem tudja megújítani a hozzáférési jogkivonatot a frissítési jogkivonat használatával, újra bejelentkezik.
• Frissített hitelesítési támogatás. Az illesztőprogram mostantól támogatja a böngészőalapú (U2M) és az ügyfél hitelesítő adatait (M2M) a Google Cloudban.
• Egyesített alapértelmezett OAuth-beállításokat adott hozzá.
• Most már konfigurálhatja az OAuth-átirányítási portot. Ehhez állítsa be a tulajdonságot a OAuth2RedirectUrlPort portra.

A teljes konfigurációs információkért tekintse meg az illesztőprogram-letöltési csomaggal telepített Databricks JDBC illesztőprogram-útmutatóját .

A Databricks személyes hozzáférési jogkivonatai visszavonva, ha 90 nap után nem használják fel

2024. augusztus 13.

A Databricks mostantól automatikusan visszavon minden olyan személyes hozzáférési jogkivonatot (PAT-t), amelyet 90 vagy több nap alatt nem használtak. További részletekért lásd a régi hozzáférési jogkivonatok automatikus visszavonását ismertető cikket.

A Clusters API mostantól támogatja a részleges konfigurációs frissítéseket

2024. augusztus 13.

Egy új API-hívással részlegesen frissítheti a fürtkonfigurációt, és csak a frissíteni kívánt attribútumokat kell megadnia. Lásd: Fürtkonfiguráció frissítése (részleges) a REST API-referenciaban.

Sortörési sorok a jegyzetfüzetcellákban

2024. augusztus 12.

Mostantól engedélyezheti vagy letilthatja a sorburkolást a jegyzetfüzetcellákban, így a szöveg több sorba tördelhető, vagy egy vonalon maradhat vízszintes görgetéssel. Lásd: Sortörés.

A Mozaik AI-vektorkeresés szinkronizálandó oszlopainak megadása

2024. augusztus 12.

Most már megadhatja a táblázat oszlopainak egy részhalmazát, amelyet egy vektorkeresési indexben szeretne használni. A rendszer mindig szinkronizálja az elsődleges kulcs oszlopát és a beágyazási oszlopot. Lásd: Vektorkeresési index létrehozása és lekérdezése.

A fájloknak már nem lehetnek azonos neveik a munkaterület mappáiban

2024. augusztus 9.

A Databricks mostantól megakadályozza, hogy objektumokat hozzon létre vagy nevezze át a munkaterületi mappákban, ha egy objektum neve pontosan egyezik egy másik fájl nevével, ami az objektum fájlkiterjesztésének felel meg. Ha például már létezik olyan jegyzetfüzet, amelynek alapneve test ugyanazzal a munkaterületi mappával .py rendelkezik, már nem hozhat létre fájlnevettest.py.

További részletekért lásd : Az eszközök elnevezése a munkaterület mappáiban.

Már elérhető a számítási szabályzat kényszerítése

2024. augusztus 8.

A szabályzatmegfelelés kényszerítése lehetővé teszi, hogy a munkaterület rendszergazdái frissítsék a munkaterület számítási erőforrásait, hogy megfeleljenek a szabályzat legújabb verziójának. Ez a funkció a felhasználói felületen vagy a Fürtszabályzatok API-val használható.

Lásd: Szabályzatmegfelelés kényszerítése vagy FürtszabályzatOK API.

Az alapmodell API-k jogkivonatonkénti fizetése mostantól ga

2024. augusztus 7.

Az alapmodell API-k jogkivonatonkénti fizetése mostantól általánosan elérhető. Lásd: Pay-per-token Foundation Model API-k.

Adatprojektek biztonságos és privát együttműködése a Databricks Clean Rooms (nyilvános előzetes verzió) használatával

2024. augusztus 6.

A Databricks Clean Rooms a Delta Sharing és a kiszolgáló nélküli számítás használatával biztosít biztonságos és adatvédelemmel kapcsolatos környezetet, ahol több fél is megoszthat bizalmas vállalati adatokat, és együttműködhet egymás adataihoz való közvetlen hozzáférés nélkül.

A Clean Rooms használatával más Databricks-fiókok felhasználói együttműködve egyedi elemzéseket hozhatnak létre a megosztott projektekről, például hirdetési kampányokról, befektetési döntésekről vagy kutatásról és fejlesztésről anélkül, hogy bizalmas adatokat helyeznek át vagy tárnak fel. Összetett számítási feladatokat futtathat rövid élettartamú környezetben a Databricks-jegyzetfüzetek által támogatott nyelvekkel, beleértve a Pythont is, amely natív támogatást nyújt a gépi tanulási számítási feladatokhoz.

A kipróbálásához forduljon az Azure Databricks képviselőjéhez.

Lásd : Mi az Azure Databricks Clean Rooms?.

A Mozaik AI Vector Search mostantól HIPAA-kompatibilis

2024. augusztus 6.

A Mozaik AI Vector Search mostantól minden régióban HIPAA-kompatibilis.

Oszlopok formázása jegyzetfüzetben és lekérdezési eredménytáblákban

2024. augusztus 6.

Az eredménytáblákat úgy szabhatja testre, hogy olvashatóbbak legyenek az olyan oszlopformázási lehetőségekkel, mint a Pénznem, a Százalék, az URL-cím, a tizedesjegyek szabályozása stb. Lásd: Oszlopok formázása.

A sorszűrők és az oszlopmaszkok mostantól ga típusúak, fejlesztésekkel

2024. augusztus 6.

A databricks Runtime 12.2-ben és újabb verziókban már általánosan elérhető a sorszűrők és az oszlopmaszkok táblákra való alkalmazása. A sorszűrők és a kolummaszkok megakadályozzák a bizalmas adatokhoz való hozzáférést a megadott felhasználók számára. Ezek a szűrők és maszkok sql-felhasználó által definiált függvényekként (UDF-ek) vannak implementálva. A GA a következő funkciók támogatását nyújtja, amelyek nem érhetők el a nyilvános előzetes verzióban:

• Állandó kifejezések a szabályzatparaméterekben (sztringek, numerikus, intervallumok, logikai értékek, nullok).

• Materialized views and streaming tables (Public Preview).

• MERGE utasítások.

• Táblamintavétel.

Az egyfelhasználós számítás részletes hozzáférés-vezérlésének különálló kiadása kiterjeszti a táblákon alkalmazott sorszűrőkkel és oszlopmaszkokkal végzett munka számítási lehetőségeit is.

Lásd: Bizalmas táblaadatok szűrése sorszűrők és oszlopmaszkok használatával.

A Lakehouse Federation általánosan elérhető (GA)

2024. augusztus 1.

A Databricks Runtime 15.2-es és újabb verzióiban, valamint a Databricks SQL 2024.30-es és újabb verzióiban a Lakehouse Federation-összekötők az alábbi adatbázistípusokban általánosan elérhetők (GA):

• MySQL
• PostgreSQL
• Amazon Redshift
• Snowflake
• Microsoft SQL Server
• Azure Synapse (SQL Data Warehouse)
• Databricks

Ez a kiadás a következő fejlesztéseket is bevezeti:

• Az egyszeri bejelentkezés (SSO) hitelesítésének támogatása a Snowflake és a Microsoft SQL Server-összekötőkben.

• Azure Private Link-támogatás az SQL Server-összekötőhöz kiszolgáló nélküli számítási környezetekből. Lásd : 3. lépés: Privát végpontszabályok létrehozása.

• További leküldéses leküldések (sztring, matematikai és egyéb függvények) támogatása.

• Továbbfejlesztett leküldéses sikerességi arány a különböző lekérdezési alakzatok között.

• További leküldéses hibakeresési képességek:

  • A EXPLAIN FORMATTED kimenet megjeleníti a leküldéses lekérdezés szövegét.
  • A lekérdezésprofil felhasználói felülete megjeleníti a leküldéses lekérdezés szövegét, az összevont csomópontazonosítókat és a JDBC-lekérdezés végrehajtási idejét (részletes módban). Lásd: Rendszer által létrehozott összevont lekérdezések megtekintése.