2023. november
Ezek a funkciók és az Azure Databricks platform fejlesztései 2023 novemberében jelentek meg.
Feljegyzés
A kiadások szakaszosak. Előfordulhat, hogy az Azure Databricks-munkaterület a kezdeti kiadás dátuma után egy vagy több hétig nem frissül.
A Databricks Vector Search nyilvános előzetes verziójú
2023. november 30.
A Databricks Vector Search egy kiszolgáló nélküli hasonlósági keresőmotor, amely lehetővé teszi az adatok vektoros ábrázolását, beleértve a metaadatokat is, egy vektoradatbázisban. Ennek a funkciónak a részeként létrehozhatja a vektorkeresési indexek automatikus frissítését a Unity Catalog adataiból, és lekérdezheti őket egy egyszerű API-val, amellyel a rag-munkafolyamatok részeként a leginkább hasonló vektorokat adja vissza. Lásd: Databricks Vector Search.
A hozzáférés-vezérlési listák már nem tilthatók le
2023. november 29.
Az alábbi beállítások minden Prémium csomag munkaterületen engedélyezve vannak, és többé nem tilthatók le a munkaterület rendszergazdai beállításainak lapján vagy a Workspace Conf API-n:
- Munkaterület-hozzáférés-vezérlés: lehetővé teszi a felhasználók számára a munkaterület-objektumok engedélyeinek konfigurálását.
- Fürt, készlet, feladatok hozzáférés-vezérlése: lehetővé teszi a felhasználók számára a fürtökre, készletekre és feladatokra vonatkozó engedélyek konfigurálását.
- Fürt láthatóságának szabályozása: megakadályozza, hogy a fürtök láthatóak legyenek az olyan felhasználók számára, akiknek nincs engedélye rájuk.
- Feladatok láthatóságának szabályozása: megakadályozza, hogy a feladatok láthatóak legyenek az olyan felhasználók számára, akiknek nincs engedélye rájuk.
- Munkaterület láthatóság-vezérlési beállítása: megakadályozza, hogy a jegyzetfüzetek és mappák láthatóak legyenek az olyan felhasználók számára, akiknek nincs engedélye rájuk.
2018 márciusa óta alapértelmezés szerint engedélyezve vannak a hozzáférés-vezérlési beállítások az új munkaterületeken, és 2020 decembere óta alapértelmezés szerint engedélyezve vannak a láthatóság-vezérlési beállítások.
További információ: Hozzáférés-vezérlési listák.
Új viselkedések és műveletek a Kötetek Katalóguskezelőjében
2023. november 22.
Most már létrehozhat egy új kötetet a célsémában, ha a Feltöltés kötetbe felhasználói felületén nincs ilyen. Lásd: Fájlok feltöltése Unity-katalóguskötetbe.
A kötetekben lévő fájlokhoz olyan műveletek lettek hozzáadva, mint a Fájl törlése és a Fájl letöltése .
A Databricks Runtime 14.2 ga
2023. november 22.
A Databricks Runtime 14.2 és a Databricks Runtime 14.2 ML már általánosan elérhető.
Lásd: Databricks Runtime 14.2 és Databricks Runtime 14.2 for Machine Tanulás.
Databricks SQL Csatlakozás or a Python 3.0.0-s verziójához
2023. november 17.
Most már futtathatja a parancsot pip install databricks-sql-connector==3.0.0.
Ez a kiadás:
- Eltávolítja a Python 3.7 támogatását
- Támogatja a natív paraméteres SQL-lekérdezéseket. DBR 14.2 vagy újabb verziót igényel. További információ: Natív paraméterek használata a databricks-sql-python GitHub-adattárban.
- Tartalmazza a teljesen újraírt SQLAlchemy-dialektust:
- Támogatja az SQLAlchemy >= 2.0-t, és elveti az SQLAlchemy 1.x támogatását
- Az összes támogatott funkció teljes körű tesztelési lefedettsége
- Részletes használati megjegyzések itt érhetők el
- A következőhöz nyújt támogatást:
- Új típusok:
TIME,TIMESTAMP, ,TIMESTAMP_NTZTINYINT Numerictípusméret és pontosság, példáulNumeric(10,2)- Olvasás és írás
PrimaryKeyConstraintésForeignKeyConstraint - Összetett kulcsok olvasása és írása
- Olvasás és írás nézetekből
- Írás
Identitytáblákba (elsődleges kulcsok automatikus beírása) LIMITésOFFSETaz eredmények lapozásához- Metaadat-hívások gyorsítótárazása
- Új típusok:
- Alapértelmezés szerint engedélyezi a felhőbeolvasást. A letiltáshoz állítsa be
use_cloud_fetch=Falseaz összeállításkordatabricks.sql.client. - Integrációs tesztek hozzáadása az Azure Databricks Unity Catalog kötetbetöltési lekérdezéseihez
- Próbálkozás:
- Konfiguráció hozzáadása
_retry_max_redirects - Állítsa be
_enable_v3_retries=Trueés figyelmeztesse, ha a felhasználók felülbírálják.
- Konfiguráció hozzáadása
- Biztonság: A pyarrow minimális verziója a 14.0.1-es verzióra (CVE-2023-47248)
Az elkülönítés nélküli megosztott fürtökön támogatott munkaterületfájlok tárai
2023. november 15.
Most már telepítheti a munkaterületfájlként tárolt kódtárakat, hogy a Databricks Runtime 14.1 és újabb verziókban elkülönítés nélküli megosztott hozzáférési móddal konfigurált számítást végezzenek.
Munkaterület-kódtárak elavulása
2023. november 15.
A munkaterülettárak elavultak, és az új munkaterület-kódtárak létrehozása le lett tiltva. A meglévő munkaterület-kódtárak továbbra is működnek. Vegye figyelembe, hogy a tárak munkaterületfájlokként való tárolása eltér a munkaterület-táraktól, és továbbra is teljes mértékben támogatott. A munkaterületfájlként tárolt kódtárakat közvetlenül a számítási vagy feladatfeladatok végrehajtásához telepítheti. Lásd a kódtárakat.
Az Azure bizalmas számítástechnikai virtuálisgép-típusok támogatása mostantól ga
2023. november 15.
Az Azure Databricks mostantól általánosan elérhető az Azure bizalmas számítástechnikai virtuális gépekhez. Az Azure bizalmas számítástechnika segít megvédeni a használatban lévő adatokat, megakadályozva, hogy a felhőszolgáltató hozzáférjen a bizalmas adatokhoz. Tekintse meg az Azure bizalmas számítási virtuális gépeit.
Databricks Marketplace-listák keresése globális munkaterület-kereséssel
2023. november 13.
Az Azure Databricks-munkaterület felhasználói felületén található globális keresősáv használatával mostantól adatkészleteket, AI-modelleket és Databricks-megoldásgyorsítókat is találhat a Databricks Marketplace-en. Lásd : Mi a Databricks Marketplace? és keressen munkaterület-objektumokat.
Adattermékek felhasználása a Databricks Marketplace-en külső platformok használatával
2023. november 10.
A Unity Catalog-kompatibilis Azure Databricks-munkaterület nélküli felhasználók mostantól hozzáférhetnek az adattermékekhez a Databricks Marketplace-en. A Delta Sharing nyílt megosztási összekötőivel számos gyakori platformon érheti el a Marketplace-adatokat, például a Microsoft Power BI, a Microsoft Excel, a pandas, az Apache Spark és a nem Unity Catalog Databricks-munkaterületek használatával. Csak táblázatos adatkészletek érhetők el külső platformokon (például Databricks-jegyzetfüzeteken vagy modelleken nem). Lásd: Adattermékek kérése és elérése a Databricks Marketplace-en külső platformok használatával.
Több Azure-régióhoz hozzáadott kiszolgáló nélküli SQL-raktárak támogatása
2023. november 9.
A következő Azure-régiók mostantól támogatják a kiszolgáló nélküli SQL-raktárakat:
- Dél-Brazília (brazíliasouth)
- Közép-India (centralindia)
- Kelet-Japán (japán régió)
- USA északi középső régiója (northcentralus)
- Egyesült Királyság déli régiója (uksouth)
Tekintse meg az Azure Databricks-régiókat és a kiszolgáló nélküli SQL-raktárak engedélyezését.
A Unity Catalog automatikus engedélyezése új munkaterületekhez
2023. november 9.
A Databricks megkezdte a Unity Catalog automatikus engedélyezését az új munkaterületekhez. Így a fiókadminisztrátoroknak nem kell konfigurálnia a Unity Katalógust a munkaterület létrehozása után. A bevezetés fokozatosan folytatódik a fiókok között. Lásd: A Unity-katalógus automatikus engedélyezése.
Databricks Runtime 14.2 (bétaverzió)
2023. november 8.
A Databricks Runtime 14.2 és a Databricks Runtime 14.2 ML már bétaverzióként érhető el.
Lásd: Databricks Runtime 14.2 és Databricks Runtime 14.2 for Machine Tanulás.
A Databricks Marketplace tartalmazza a Databricks-megoldásgyorsítókat
2023. november 7.
A Databricks Marketplace mostantól hozzáférést biztosít a Databricks megoldásgyorsítóihoz, a teljes mértékben működőképes jegyzetfüzeteket, ajánlott eljárásokat és mintaadatokat biztosító útmutatókhoz, hogy gyorsan üzembe helyezhesse az Azure Databricks népszerű használati eseteit. Lásd: Hozzáférés kérése a Databricks-megoldásgyorsítókhoz.
A Lakehouse Federation támogatja a Google BigQueryt
2023. november 3.
Most már konfigurálhatja a Lakehouse-összevonást, hogy összevont lekérdezéseket futtasson az BigQuery összekötő típusával. Az új BigQuery-összekötő a Pro és a kiszolgáló nélküli SQL-tárolók, valamint a Databricks Runtime 13.3 LTS és újabb verziókban támogatott. Lásd: Összevont lekérdezések futtatása a Google BigQueryben.