2022. augusztus
Ezek a funkciók és az Azure Databricks platform fejlesztései 2022 augusztusában jelentek meg.
Feljegyzés
A kiadások szakaszosak. Előfordulhat, hogy az Azure Databricks-fiók csak egy vagy több héttel a kezdeti kiadási dátum után frissül.
A fiókfelhasználók hozzáférhetnek a fiókkonzolhoz
2022. augusztus 1–31.
A fiókfelhasználók hozzáférhetnek az Azure Databricks-fiókkonzolhoz a munkaterületeik listájának megtekintéséhez. A fiókfelhasználók csak azokat a munkaterületeket tekinthetik meg, amelyekhez hozzáférést kaptak. Lásd: Azure Databricks-fiók kezelése.
A munkaterületekről származó felhasználókat a rendszer automatikusan szinkronizálja a fiókjába fiókfelhasználóként. A rendszer minden meglévő munkaterület-felhasználót és szolgáltatásnevet automatikusan szinkronizál a fiókjával fiókszintű felhasználókként és szolgáltatásnevekként. Lásd: Hogyan rendelnek felhasználókat a rendszergazdák a fiókhoz?
Databricks ODBC-illesztő 2.6.26
2022. augusztus 29.
Megjelent a Databricks ODBC-illesztőprogram 2.6.26-os verziója (letöltés). Ez a kiadás frissíti a lekérdezések támogatását. Mostantól api-kérés esetén aszinkron módon megszakíthatja a HTTP-kapcsolatok lekérdezéseit.
Ez a kiadás a következő problémát is megoldja:
- Ha egyéni lekérdezéseket használ a Spotfire-ben, az összekötő nem válaszol.
Databricks JDBC-illesztő 2.6.29
2022. augusztus 29.
Megjelent a Databricks JDBC-illesztőprogram 2.6.29-es verziója (letöltés). Ez a kiadás a következő problémákat oldja meg:
- Ha olyan HTTP-proxyt használ, amelyen engedélyezve van a Cloud Fetch, az összekötő nem ad vissza nagy adatkészlet-eredményeket.
- Kisebb szöveges problémák a Databricks licencszövegében. A dokumentáció hivatkozásai hiányoznak.
- A JAR-fájlnevek helytelenek voltak. A SparkJDBC41.jar helyett DatabricksJDBC41.jar kellett volna. A SparkJDBC42.jar helyett DatabricksJDBC42.jar kellett volna.
A Databricks Feature Store-ügyfél már elérhető a PyPI-ban
2022. augusztus 26.
A Szolgáltatástár-ügyfél már elérhető a PyPI-ban. Az ügyfélhez a Databricks Runtime 9.1 LTS vagy újabb verziója szükséges, és a következőkkel telepíthető:
%pip install databricks-feature-store
Az ügyfél már be van csomagolva a Databricks Runtime for Machine Learning 9.1 LTS-hez és újabb verziókhoz.
Az ügyfél nem futtatható a Databricksen kívül; azonban helyileg telepítheti, hogy segítséget nyújtson az egységteszteléshez és további IDE-támogatáshoz (például automatikus kiegészítéshez). További információ: Databricks Feature Store Python-ügyfél
A Unity Catalog ga
2022. augusztus 25.
A Unity Katalógus általánosan elérhető. A funkciók részletes bejelentéseit és korlátozásait a Unity Catalog GA kibocsátási megjegyzésében találja.
A Delta-megosztás ga
2022. augusztus 25.
A Delta Sharing mostantól általánosan elérhető, a Databricks Runtime 11.1-től kezdve. További részletekért lásd : Mi az a deltamegosztás?.
- A Databricks-to-Databricks deltamegosztás teljes körűen felügyelt, tokenek cseréje nélkül.
- Egyszerűen használható felhasználói felülettel hozhat létre és kezelhet szolgáltatókat, címzetteket és megosztásokat.
- Szolgáltatók, címzettek és megosztások létrehozása és kezelése sql- és REST API-kkal teljes cli- és Terraform-támogatással.
- Adatváltozások lekérdezése vagy növekményes verziók megosztása adatcsatornák módosításával.
- A címzettek hozzáférésének korlátozása hitelesítőadat-fájlok letöltésére vagy adatok lekérdezésére IP-hozzáférési listák és régiókorlátozások használatával.
- Alapértelmezés szerint engedélyezve van a Delta Sharing használata ugyanazon az Azure Databricks-fiókon belüli adatok megosztásához.
- A feladatok elkülönítésének kikényszerítése a Delta Sharing felügyeletének nem rendszergazdákra történő delegálásával.
Databricks Runtime 11.2 (bétaverzió)
2022. augusztus 23.
A Databricks Runtime 11.2, 11.2 Photon és 11.2 ML már bétaverzióként érhető el.
Tekintse meg a Databricks Runtime 11.2 (EoS) és a Databricks Runtime 11.2 for Machine Learning (EoS) teljes kibocsátási megjegyzéseit.
Csökkentett üzenetkötet a Delta Live Tables felhasználói felületén a folyamatos folyamatokhoz
2022. augusztus 22–29.: 3.79-es verzió
Ezzel a kiadással a Delta Live Tables folyamatos folyamat élő tábláinak állapotáttűnései csak addig jelennek meg a felhasználói felületen, amíg a táblák be nem lépnek a futó állapotba. A táblák sikeres újraszámításával kapcsolatos áttűnések nem jelennek meg a felhasználói felületen, de elérhetők a Delta Live Tables eseménynaplójában a METRICS szintjén. A hibaállapotokra való áttérések továbbra is megjelennek a felhasználói felületen. Korábban az összes állapotáttűnés az élő táblák felhasználói felületén jelenik meg. Ez a módosítás csökkenti a felhasználói felületen megjelenő folyamatesemények mennyiségét, és megkönnyíti a folyamatok fontos üzeneteinek megkeresését. Az eseménynapló lekérdezésével kapcsolatos további információkért tekintse meg a Delta Live Tables eseménynaplóját.
A Delta Live Tables-folyamatok egyszerűbb fürtkonfigurációja
2022. augusztus 22–29.: 3.79-es verzió
Most már kiválaszthatja a fürt üzemmódot automatikus skálázás vagy rögzített méret esetén közvetlenül a Delta Live Tables felhasználói felületén, amikor létrehoz egy folyamatot. Korábban az automatikus skálázási fürt konfigurálásához módosítani kellett a folyamat JSON-beállításait. A folyamat létrehozásával és az új fürtmód beállításával kapcsolatos további információkért lásd: Frissítés futtatása Delta Live Tables-folyamaton.
Dbt-feladatok vezénylálása a Databricks-munkafolyamatokban (nyilvános előzetes verzió)
2022. augusztus 22–29.: 3.79-es verzió
A dbt core-projektet feladatként futtathatja egy Azure Databricks-feladatban az új dbt-tevékenységgel, így a dbt-átalakításokat belefoglalhatja egy adatfeldolgozási munkafolyamatba. A munkafolyamat például betöltheti az adatokat az Automatikus betöltővel, átalakíthatja az adatokat a dbt használatával, és egy jegyzetfüzet-feladattal elemezheti az adatokat. A dbt-tevékenységről további információt, például a Dbt-átalakítások használata Azure Databricks-feladatban című témakörben talál. A dbt-feladatokat tartalmazó munkafolyamatok létrehozásáról, futtatásáról és ütemezéséről további információt a munkafolyamatok ütemezése és vezénylése című témakörben talál.
Az identitás-összevonás ga
2022. augusztus 25.
Az identitásösszevonás leegyszerűsíti az Azure Databricks felügyeletét azáltal, hogy lehetővé teszi, hogy fiókszintű felhasználókat, szolgáltatásneveket és csoportokat rendeljen identitásfedezetű munkaterületekhez. Most már konfigurálhatja és kezelheti az összes felhasználót, szolgáltatásnevet és csoportot egyszer a fiókkonzolon, ahelyett, hogy az egyes munkaterületeken külön-külön megismételte a konfigurációt. Az identitás-összevonással kapcsolatos további információkért lásd: Hogyan rendelnek felhasználókat a rendszergazdák a munkaterületekhez? Első lépésként tekintse meg, hogyan engedélyezhetik a rendszergazdák az identitás-összevonást egy munkaterületen?
A Partner Connect támogatja a Stardoghoz való csatlakozást
2022. augusztus 24.
Mostantól egyszerűen létrehozhat kapcsolatot a Stardog és az Azure Databricks-munkaterület között a Partner Connect használatával. A Stardog egy tudásgráf-platformot biztosít az adatsilók összetett lekérdezéseire való válaszadáshoz.
A Databricks szolgáltatástároló integrációja a kiszolgáló nélküli valós idejű következtetéssel
2022. augusztus 22–29.: 3.79-es verzió
A Databricks szolgáltatástároló mostantól támogatja a kiszolgáló nélküli valós idejű következtetés automatikus funkciókeresését. További információ: Automatikus funkciókeresés a Databricks modellkiszolgálóval.
További adattípus-támogatás a Databricks Feature Store automatikus funkciókereséséhez
2022. augusztus 22–29.: 3.79-es verzió
A Databricks Feature Store mostantól támogatja BooleanType az automatikus funkciókeresést. Lásd: Automatikus funkciókeresés a Databricks modellkiszolgálóval.
Saját kulcs használata: Git-hitelesítő adatok titkosítása
2022. augusztus 23–29.
A Databricks-adattárak git-hitelesítő adataihoz használhat titkosítási kulcsot.
Lásd: Saját kulcs használata: Git-hitelesítő adatok titkosítása.
A fürt felhasználói felületének előnézete és hozzáférési módja lecseréli a biztonsági módot
2022. augusztus 19.
Az új Fürt létrehozása felhasználói felület előzetes verzióban érhető el. Lásd: Számítási konfigurációs referencia.
Unity Catalog-korlátozások (nyilvános előzetes verzió)
2022. augusztus 16.
- A Machine Learning Futtatókörnyezetet használó Scala, R és számítási feladatok csak az egyfelhasználós hozzáférési módot használó fürtökön támogatottak. Ezen nyelvek számítási feladatai nem támogatják a dinamikus nézetek használatát a sorszintű vagy oszlopszintű biztonság érdekében.
- A sekély klónok nem támogatottak, ha a Unity Catalogot használja a klón forrásaként vagy célpontjaként.
- A gyűjtőzés nem támogatott a Unity Catalog-táblák esetében. A Unity Katalógusban gyűjtőtáblát létrehozni próbáló parancsok kivételt okoznak.
- A DataFrame írási műveleteinek felülírási módja a Unity Catalogban csak Delta-táblák esetében támogatott, más fájlformátumok esetében nem. A felhasználónak rendelkeznie kell a
CREATEszülőséma jogosultságával, és a meglévő objektum tulajdonosának kell lennie. - A streamelés jelenleg a következő korlátozásokkal rendelkezik:
- A megosztott hozzáférési módot használó fürtök nem támogatják. A streamelési számítási feladatokhoz egyfelhasználós hozzáférési módot kell használnia.
- Az aszinkron ellenőrzőpontok még nem támogatottak.
- Az összes puporse- vagy feladatfürtön 30 napnál hosszabb streamlekérdezések kivételt képeznek. A hosszú ideig futó streamelési lekérdezésekhez konfigurálja az automatikus feladat-újrapróbálkozásokat.
- A Unity Catalog-táblákra való hivatkozás a Delta Live Tables-folyamatokból jelenleg nem támogatott.
- A munkaterületen korábban létrehozott csoportok nem használhatók a Unity Catalog GRANT utasításaiban. Ennek célja, hogy egységes nézetet biztosítson a munkaterületeken átnyúló csoportokról. Ha csoportokat szeretne használni a GRANT-utasításokban, hozza létre a csoportokat a fiókkonzolon, és frissítse az egyszerű vagy csoportkezelés automatizálását (például SCIM, Okta és Microsoft Entra ID-összekötők és Terraform) a fiókvégpontokra való hivatkozáshoz munkaterület-végpontok helyett.
A Unity-katalógus a következő régiókban érhető el:
canadacentralcentralusfrancecentralgermanywestcentraljapaneastnorwayeastsouthafricanorthswedencentralswitzerlandnorthswitzerlandwestuaenorthwestcentraluswestus3australiaeastbrazilsouthcentralindiaeastuseastus2koreacentralnorthcentralusnortheuropesoutheastasiaukwestwesteuropewestus
Ha egy másik régióban szeretné használni a Unity Katalógust, lépjen kapcsolatba a fiókcsapattal.
Kiszolgáló nélküli valós idejű következtetés nyilvános előzetes verzióban
2022. augusztus 16.
A kiszolgáló nélküli valós idejű következtetés MLflow használatával dolgozza fel a gépi tanulási modelleket, és REST API-végpontként teszi elérhetővé őket. Ez a funkció kiszolgáló nélküli számítást használ, ami azt jelenti, hogy a végpontok és a kapcsolódó számítási erőforrások kezelése és futtatása az Azure Databricks felhőfiókjában történik. A használattal és a tárterületekkel kapcsolatos költségek jelenleg ingyenesek, de az Azure Databricks értesítést küld a töltés megkezdésekor.
A munkaterület rendszergazdáinak engedélyeznie kell a kiszolgáló nélküli valós idejű következtetést a munkaterületen a funkció használatához.
A kiszolgáló nélküli valós idejű következtetés nyilvános előzetes verziójában való részvételhez lépjen kapcsolatba az Azure Databricks-fiók csapatával.
A továbbfejlesztett munkaterület-keresés mostantól általánosan elérhető
2022. augusztus 9.
Mostantól név alapján kereshet jegyzetfüzeteket, tárakat, mappákat, fájlokat és adattárakat. A jegyzetfüzetben is kereshet tartalmakat, és megtekintheti a megfelelő tartalom előnézetét. A keresési eredmények típus szerint szűrhetők. Lásd: Munkaterület-objektumok keresése.
Létrehozott oszlopok használata Delta Live Tables-adatkészletek létrehozásakor
2022. augusztus 8–15.: 3.78-os verzió
Most már használhatja a létrehozott oszlopokat , amikor táblákat definiál a Delta Live Tables-folyamatokban. A létrehozott oszlopokat a Delta Live Tables Python és SQL-interfészek támogatják.
Továbbfejlesztett szerkesztés jegyzetfüzetekhez Monacó-alapú szerkesztővel (Kísérleti)
2022. augusztus 8–15.
Python-jegyzetfüzetekhez egy új Monaco-alapú kódszerkesztő érhető el. Az engedélyezéshez jelölje be az Új jegyzetfüzet-szerkesztő bekapcsolása lehetőséget a Felhasználói beállítások lap Szerkesztő beállításai lapján.
Az új szerkesztő tartalmazza a paramétertípus-tippeket, az objektumvizsgálatot a rámutatáson, a kód összecsukását, a több kurzoros támogatást, az oszlop (mező) kiválasztását és a jegyzetfüzet verzióelőzményeinek egymás melletti diff-eit.
A Databricks Runtime 10.3-sorozat támogatása véget ér
2022. augusztus 2.
A Databricks Runtime 10.3 és a Databricks Runtime 10.3 for Machine Learning támogatása augusztus 2-án véget ért. Lásd a Databricks támogatási életciklusait.
Privát kapcsolat engedélyezése az Azure Private Linkkel (nyilvános előzetes verzió)
2022. augusztus 2.
Az Azure Databricks mostantól támogatja az Azure Private Link-kapcsolatok engedélyezését a felhasználók és az Azure Databricks-munkaterületek, valamint a számítási síkon lévő fürtök és a Databricks-munkaterület infrastruktúráján belüli vezérlősík alapvető szolgáltatásai között. Az Azure Private Link közvetlenül kapcsolódik a szolgáltatásokhoz, anélkül, hogy az adatforgalom a nyilvános hálózaton hozzáférhető lenne. Ez a funkció nyilvános előzetes verzióként érhető el. Lásd: Az Azure Private Link háttér- és előtérkapcsolatainak engedélyezése.
Kiszolgáló nélküli SQL-raktárak engedélyezése a munkaterülethez (nyilvános előzetes verzió)
2022. augusztus 2.
A kiszolgáló nélküli SQL-raktárak mostantól nyilvános előzetes verzióként érhetők el az Azure Databricks fiókjaihoz és munkaterületeihez. Ehhez a funkcióhoz prémium tarifacsomag szükséges. A kiszolgáló nélküli SQL-raktárak létrehozása előtt a rendszergazdának engedélyeznie kell azt a munkaterületen.
A Delta Live Tables mostantól csak a kijelölt táblák frissítését támogatja a folyamatfrissítésekben
2022. augusztus 2-24.
Most már csak a kijelölt táblák frissítését indíthatja el egy Delta Live Tables-folyamatban. Ez a funkció felgyorsítja a folyamatok tesztelését és a hibák elhárítását azáltal, hogy lehetővé teszi egy olyan folyamatfrissítés elindítását, amely csak a kijelölt táblákat frissíti. Ha tudni szeretné, hogyan indíthatja el a csak a kijelölt táblák frissítését, olvassa el a Frissítés futtatása Delta Live Tables-folyamaton című témakört.
A feladat végrehajtása most megvárja, amíg a fürttárak telepítése befejeződik
2022. augusztus 1.
Amikor egy fürt elindul, a Databricks-feladatok most megvárják, amíg a fürttárak befejezik a telepítést a végrehajtás előtt. Korábban a feladatfuttatások csak akkor vártak, amíg a kódtárak csak akkor telepednek a teljes célú fürtökre, ha függő tárként lettek megadva a feladathoz. A függő kódtárak tevékenységekhez való konfigurálásáról további információt a Databricks-feladatok konfigurálása és szerkesztése című témakörben talál.