2024. május

Ezek a funkciók és az Azure Databricks platform fejlesztései 2024 májusában jelentek meg.

Feljegyzés

A kiadások szakaszosak. Előfordulhat, hogy az Azure Databricks-fiók csak egy vagy több héttel a kezdeti kiadási dátum után frissül.

A kiszolgáló nélküli tűzfalkonfiguráció mostantól több számítási típust támogat

2024. május 31.

Az Azure Databricks mostantól támogatja a tűzfalak konfigurálását kiszolgáló nélküli feladatokhoz, jegyzetfüzetekhez, Delta Live Tables-folyamatokhoz és a CPU-végpontok elérését kiszolgáló modellhez hálózati kapcsolati konfigurációk (NCC-k) használatával. A fiókadminisztrátor létrehozhatja az NPC-ket, és csatolhatja őket a munkaterületekhez, hogy stabil alhálózatokon keresztül biztosítsa a biztonságos és szabályozott hozzáférést.

Lásd: Tűzfal konfigurálása kiszolgáló nélküli számítási hozzáféréshez.

A Databricks Runtime 15.0-s sorozat támogatása véget ér

2024. május 31.

A Databricks Runtime 15.0 és a Databricks Runtime 15.0 for Machine Learning támogatása május 31-én véget ért. Lásd a Databricks támogatási életciklusait.

Databricks Runtime 15.3 (bétaverzió)

2024. május 30.

A Databricks Runtime 15.3 és a Databricks Runtime 15.3 ML már bétaverzióként érhető el.

Lásd: Databricks Runtime 15.3 és Databricks Runtime 15.2 for Machine Learning.

A számítási metrikák felhasználói felülete mostantól minden Databricks Runtime-verzióban elérhető

2024. május 30.

A számítási metrikák felhasználói felületét az összes Databricks Runtime-verzióban bevezették. Korábban ezek a metrikák csak a Databricks Runtime 13.3-on és újabb verziókon futó számítási erőforrásokon voltak elérhetők. Lásd: Számítási metrikák megtekintése.

Továbbfejlesztett keresés és szűrés a jegyzetfüzetben és az SQL-szerkesztő találattábláiban

2024. május 28.

Mostantól egyszerűen kereshet oszlopokat, és kiválaszthatja a szűrőértékeket a jegyzetfüzetek és az SQL-szerkesztő találattábláinak meglévő értékeinek legördülő listájából.

Új irányítópult segíti a Databricks Marketplace-szolgáltatókat a listahasználat figyelésében

2024. május 28.

Az új Provider Analytics-irányítópulton a Databricks Marketplace-szolgáltatók figyelhetik a listanézeteket, a kéréseket és a telepítéseket. Az irányítópult adatokat kér le a Marketplace rendszertábláiból. Lásd: A használati metrikák monitorozása irányítópultokkal.

Rendszer által létrehozott összevont lekérdezések megtekintése a következő helyen: Query Profile

2024. május 24.

A Lakehouse Federation mostantól támogatja a rendszer által létrehozott összevont lekérdezések és azok metrikáinak megtekintését a lekérdezésprofilban. Kattintson az összevonási vizsgálati csomópontra a gráfnézetben az adatforrásba leküldött lekérdezés megjelenítéséhez. Lásd: Rendszer által létrehozott összevont lekérdezések megtekintése.

A számítási sík kimenő IP-címeit hozzá kell adni a munkaterület IP-engedélyezési listájához

2024. május 24.

Ha biztonságos fürtkapcsolati és IP-hozzáférési listákat használ a munkaterületen, vagy fel kell vennie a számítási sík által a vezérlősík engedélyezési listához való eléréséhez használt összes nyilvános IP-címet, vagy konfigurálnia kell a háttérbeli privát kapcsolatot. Ez a változás 2024. július 29-én az összes új munkaterületre, a meglévő munkaterületekre pedig 2024. augusztus 26-án lesz hatással. További információkért lásd a Databricks közösségi bejegyzését.

Ha például egy virtuális hálózati injektálást használó munkaterületen engedélyezi a biztonságos fürtkapcsolatot, a Databricks azt javasolja, hogy a munkaterületen stabil kimenő nyilvános IP-cím legyen. A nyilvános IP-címnek és minden másnak szerepelnie kell egy engedélyezési listában. Tekintse meg a kimenő IP-címeket a biztonságos fürtkapcsolat használatakor. Ha egy Azure Databricks által felügyelt virtuális hálózatot használ, és konfigurálja a felügyelt NAT-átjárót a nyilvános IP-címek eléréséhez, ezeknek az IP-címeknek szerepelnie kell egy engedélyezési listában.

Lásd: IP-hozzáférési listák konfigurálása munkaterületekhez.

Az OAuth támogatott a Lakehouse Federation for Snowflake-ban

2024. május 24.

A Unity Catalog mostantól lehetővé teszi Snowflake-kapcsolatok létrehozását az OAuth használatával. Lásd: Összevont lekérdezések futtatása a Snowflake-on.

Munkaterület-objektumok tömeges áthelyezése és törlése a munkaterület böngészőből

2024. május 24.

Mostantól több elemet is kijelölhet a munkaterületen az áthelyezéshez vagy a törléshez. Ha több objektum van kijelölve, megjelenik egy műveletsáv, és lehetőség van elemek áthelyezésére vagy törlésére. Emellett több elemet is kijelölhet az egérrel, és áthúzhatja őket egy új helyre. Az objektumokra vonatkozó meglévő engedélyek továbbra is érvényesek a tömeges áthelyezési és törlési műveletek során.

A Unity-katalógus objektumai a legutóbbiakban és a kedvencekben érhetők el

2024. május 23.

Most már megtalálhatja a Unity Catalog-objektumokat, például katalógusokat és sémákat a legutóbbiak listájában. A Unity Catalog-objektumokat a Katalóguskezelőben és a sémaböngészőben is kedvencként használhatja, és kedvenc objektumokat kereshet a munkaterület kezdőlapján.

Az új dbt-databricks-összekötő 1.8.0 leválasztott DBT-architektúrát vezet be

2024. május 23.

A DBT-Databricks-összekötő 1.8.0 az első verzió, amely bevezeti az új leválasztott DBT-architektúrát. Ahelyett, hogy a dbt-core-tól függenek, hogy az ügyfeleknek mindkét kódtárhoz meg kell adniuk a verziókat, az összekötő mostantól az adapter és a dbt-core közötti megosztott absztrakciós rétegtől függ. Ennek eredményeképpen az összekötőnek már nem kell megegyeznie a Databricks szolgáltatás verziójával a dbt-core verziójával, és szabadon alkalmazhat szemantikai verziószámozást. Ez azt jelenti, hogy az összekötő-fejlesztőknek már nem kell olyan jelentős funkciókat kiadni, mint például a modellenkénti számítás javításként.

Ez a kiadás a következőket is tartalmazza:

• A materializált nézetek és streamtáblák deklarációjának és működésének fejlesztései, beleértve az automatikus frissítések ütemezését is.
• A Unity Catalog biztonságos objektumcímkék támogatása. Ha meg szeretné különböztetni őket a dbt-címkéktől, amelyek olyan metaadatok, amelyeket gyakran használnak a modellek dbt-műveletekben való kiválasztásához, ezek a címkék a modell konfigurációjában vannak elnevezvedatabricks_tags.
• A metaadatok feldolgozási teljesítményének számos fejlesztése.

Új megfelelőségi és biztonsági beállítások API-k (nyilvános előzetes verzió)

2024. május 23.

A Databricks új API-kat vezetett be a megfelelőségi biztonsági profilhoz, a fokozott biztonsági monitorozáshoz és az automatikus fürtfrissítési beállításokhoz a munkaterületeken. Lásd:

• Megfelelőségi biztonsági profil API
• Továbbfejlesztett biztonsági monitorozási API
• Automatikus fürtfrissítési API

A Databricks Runtime 15.2 ga

2024. május 22.

A Databricks Runtime 15.2 és a Databricks Runtime 15.2 ML már általánosan elérhető.

Lásd: Databricks Runtime 15.2 és Databricks Runtime 15.2 for Machine Learning.

Új Tableau-összekötő a Delta Sharinghez

2024. május 22.

Az új Tableau Delta Sharing Connector leegyszerűsíti a Tableau Desktop hozzáférését azOkhoz az adatokhoz, amelyeket a Delta Sharing nyílt megosztási protokoll használatával osztottak meg Önnel. Lásd : Tableau: Megosztott adatok olvasása.

Új mélytanulási javaslatmodellek – példák

2024. május 22.

A Databricks két új példát tett közzé, amely a modern mélytanulási javaslatmodelleket szemlélteti, köztük a kéttornyú modellt és a Meta DLRM-jét. A mélytanulási javaslati modellekről az ajánlómodellek betanítása című témakörben olvashat bővebben.

Tárolási hitelesítő adatok és külső helyek kötése adott munkaterületekhez (nyilvános előzetes verzió)

2024. május 22.

Mostantól bizonyos munkaterületekhez kötheti a tár hitelesítő adatait és a külső helyeket, így megakadályozhatja, hogy más munkaterületekről hozzáférjenek ezekhez az objektumokhoz. Ez a funkció különösen akkor hasznos, ha munkaterületekkel elkülöníti a felhasználói adatokhoz való hozzáférést, például ha külön éles és fejlesztési munkaterületekkel rendelkezik, vagy dedikált munkaterületet használ a bizalmas adatok kezeléséhez.

További információ: (Nem kötelező) Külső hely hozzárendelése adott munkaterületekhez és (Nem kötelező) Tároló hitelesítő adatainak hozzárendelése adott munkaterületekhez.

A Git-mappák ga

2024. május 22.

A Git-mappák mostantól általánosan elérhetők. Tekintse meg a Databricks Git-mappák Git-integrációját. Ha Ön a korábbi "Adattárak" funkció felhasználója, olvassa el a Mi történt a Databricks-adattárral?

Előre betanított modellek a Unity Katalógusban (nyilvános előzetes verzió)

2024. május 21.

A Databricks mostantól számos kiváló minőségű, előre betanított GenAI-modellt tartalmaz a Unity Catalogban. Ezek az előre betanított modellek lehetővé teszik a legkorszerűbb MI-képességek elérését a következtetési munkafolyamatokhoz, így időt és költséget takaríthat meg saját egyéni modellek létrehozásához. Tekintse meg az előre betanított modelleket a Unity Katalógusban és a Marketplace-en.

A Mozaik AI Vector Search a GA

2024. május 21.

A Mozaik AI Vector Search általánosan elérhető. Lásd a Mozaik AI-vektorkeresést.

Databricks Assistant automatikus kiegészítés (nyilvános előzetes verzió)

2024. május 20.

A Databricks Assistant automatikus kiegészítése valós időben nyújt mesterséges intelligenciával működő javaslatokat a jegyzetfüzetek, lekérdezések és fájlok beírása során. Ennek engedélyezéséhez nyissa meg a Beállítások>fejlesztői>kísérleti funkcióit, és kapcsolja be a Databricks Assistant automatikus kiegészítését. További részletekért lásd az AI-alapú automatikus kiegészítést.

A Meta Llama 3 támogatása az alapmodell-képzésben

2024. május 20.

Az alapmodell-betanítás mostantól támogatja a Meta Llama 3-at. Tekintse meg a Mozaik AI-modell betanítását az alapmodellekhez.

A Git-mappa felhasználói felületének új módosításai

2024. május 17.

Előfordulhat, hogy a Git-mappák interakcióinak felhasználói felületében változások következnek be. A következőt adtuk hozzá:

• Amikor megoszt egy Git-mappát, egy új riasztás jelenik meg egy szalagcímen, amely arra kéri, hogy másolja a hivatkozást a Git-mappa létrehozásához. Amikor a gombra kattint, a rendszer egy URL-címet másol a helyi vágólapra, amelyet elküldhet egy másik felhasználónak. Amikor a címzett felhasználó betölti ezt az URL-címet egy böngészőben, a rendszer arra a munkaterületre viszi a felhasználót, ahol létrehozhatja a saját Git-mappáját, amely ugyanabból a távoli Git-adattárból van klónozva. Amikor a címzett hozzáfér az URL-címhez, megjelenik egy Git-mappa létrehozása párbeszédpanel a felhasználói felületen, amely előre ki van töltve a Git-mappából vett értékekkel.

  

• Hasonlóképpen megjelenik egy új gomb, a Git mappa létrehozása egy új értesítési szalagcímen, amikor egy másik felhasználó által létrehozott Git-mappát tekint meg. Erre a gombra kattintva saját Git-mappát hozhat létre ugyanahhoz a Git-adattárhoz a Git-mappa létrehozása párbeszédpanel előre kitöltött értékei alapján.

  

Alapmodell betanítása (nyilvános előzetes verzió)

2024. május 13.

A Databricks mostantól támogatja az alapmodell-betanítást. Az alapmodell betanításával saját adataival testre szabhat egy alapmodellt, hogy optimalizálja a teljesítményét az adott alkalmazáshoz. Az alapmodellek finomhangolásával vagy folyamatos betanításával jelentősen kevesebb adat, idő és számítási erőforrás használatával taníthatja be saját modelljét, mint egy modell alapból történő betanítása. A betanítási adatok, ellenőrzőpontok és finomhangolt modell mind a Databricks platformon találhatók, és integrálva vannak az irányítási és hatékonyságnövelő eszközökkel.

További részletekért tekintse meg a Mozaik AI-modell betanítását az alapmodellekhez.

Adatok másolásának engedélyezése a felhasználók számára a vágólapra az eredménytáblából

2024. május 9.

A rendszergazdák mostantól engedélyezhetik vagy letilthatják, hogy a felhasználók adatokat másoljanak a vágólapra az eredménytáblákból. Korábban ez a funkció csak jegyzetfüzetekre volt korlátozva. Ez a beállítás most a következő felületekre vonatkozik:

• Jegyzetfüzetek
• Irányítópultok
• Dzsinn-szóközök
• Katalóguskezelő
• Fájlszerkesztő
• SQL-szerkesztő

A Unity Catalog-objektumok attribútumcímkéinek értéke mostantól 1000 karakter hosszú lehet (nyilvános előzetes verzió)

2024. május 8.

A Unity Catalog attribútumcímkéinek értéke mostantól akár 1000 karakter hosszú is lehet. A címkekulcsok karakterkorlátja 255 marad. Lásd: Címkék alkalmazása a Unity Catalog biztonságos objektumaira.

Új előnézetek lap

2024. május 8.

A Databricks előzetes verziójához való hozzáférés engedélyezése és kezelése az új Előzetes verziók lapon. Lásd: Az Azure Databricks előzetes verzióinak kezelése.

A Mozaik AI-vektorkeresés új képességei

2024. május 8.

Az új képességek közé tartoznak a következők:

• Az IP-hozzáférési listák mostantól támogatottak.
• Az ügyfél által felügyelt kulcsok (CMK) mostantól támogatottak a 2024. május 8-án vagy azt követően létrehozott végpontokon. A CMK vektorkeresési támogatása nyilvános előzetes verzióban érhető el.
• Továbbfejlesztett naplózási naplók és költség-hozzárendelések nyomon követése. Lásd a diagnosztikai naplóra vonatkozó referenciát.
• Mostantól deltatáblaként mentheti a létrehozott beágyazásokat. Lásd: Vektorkeresési index létrehozása.

Lásd a Mozaik AI-vektorkeresést.

A hitelesítő adatok átengedése és a Hive metaadattár táblahozzáférési vezérlői elavultak

2024. május 7.

A hitelesítő adatok átengedése és a Hive metaadattár táblahozzáférési vezérlői elavultak a Databricks Runtime 15.0-n, és a támogatás egy hamarosan megjelenő DBR-verzióban megszűnik.

Frissítsen a Unity Katalógusra az adatok biztonságának és szabályozásának egyszerűsítése érdekében azáltal, hogy központi helyet biztosít az adatokhoz való hozzáférés felügyeletéhez és naplózásához a fiók több munkaterületén. Lásd a Mi az a Unity katalógus? témakört.

Databricks JDBC-illesztő 2.6.38

2024. május 6.

Megjelent a Databricks JDBC-illesztőprogram 2.6.38-es verziója (letöltés). Ez a kiadás a következő új funkciókat és fejlesztéseket adja hozzá:

• Natív paraméteres lekérdezés támogatása, ha a kiszolgáló használja SPARK_CLI_SERVICE_PROTOCOL_V8. A lekérdezésben lévő paraméterek számának korlátja natív lekérdezési módban van 256 .
• Adatbetöltés kötettámogatással Unity Catalog . További információ a Felhőbeli objektumtárolókhoz való csatlakozás köteteiről Unity Catalog a Unity Catalog használatával. Ennek használatához állítsa be a következőt UseNativeQuery 1: .
• QueryProfile interfész hozzáadva, hogy IHadoopStatement az alkalmazások lekérhessenek egy lekérdezést query id. A query id lekérdezés metaadatait a Databricks REST API-kkal lehet lekérni.
• Aszinkron műveletek metaadatokhoz – a kiszolgáló használata SPARK_CLI_SERVICE_PROTOCOL_V9esetén a hívásokat thrift. A funkció használatához állítsa a tulajdonságot EnableAsyncModeForMetadataOperation a következőre 1: .
• JWT-állítás támogatása. Az összekötő mostantól támogatja a JWT assertion OAuth használatát az ügyfél hitelesítő adataival. Ehhez állítsa a tulajdonságot a UseJWTAssertion következőre 1: .

Ez a kiadás a következő problémákat is megoldja:

• A Jackson-kódtárak frissülnek. Az összekötő most a következő kódtárakat használja a Jackson JSON-elemzőhöz: jackson-annotations 2.16.0 (korábban 2.15.2), jackson-core 2.16.0 (korábban 2.15.2), jackson-databind-2.16.0 (korábban 2.15.2)
• Az összekötő nem árnyékolt osztályfájlokat tartalmaz a META-INF könyvtárban.

A munkaterület tárfiókjának tűzfaltámogatása – GA

2024. május 6.

Új Azure Databricks-munkaterület létrehozásakor egy Azure-tárfiók jön létre egy felügyelt erőforráscsoportban, más néven a munkaterület tárfiókjában. Mostantól engedélyezheti a tűzfal számára, hogy csak az engedélyezett erőforrásokból és hálózatokból korlátozza a munkaterület tárfiókjához való hozzáférést. Lásd: Tűzfaltámogatás engedélyezése a munkaterület tárfiókjához.

Databricks Runtime 15.2 (bétaverzió)

2024. május 2.

A Databricks Runtime 15.2 és a Databricks Runtime 15.2 ML már bétaverzióként érhető el.

Lásd: Databricks Runtime 15.2 és Databricks Runtime 15.2 for Machine Learning.

A jegyzetfüzetek mostantól észlelik és automatikusan kitöltik a Spark Connect DataFrame-ek oszlopneveit

2024. május 1.

A Databricks-jegyzetfüzetek mostantól automatikusan észlelik és megjelenítik az oszlopneveket a Spark Connect DataFramesben, és lehetővé teszik az automatikus kiegészítést az oszlopok kiválasztásához.