2020. szeptember
Ezek a funkciók és az Azure Databricks platform fejlesztései 2020 szeptemberében jelentek meg.
Feljegyzés
A kiadások szakaszosak. Előfordulhat, hogy az Azure Databricks-fiók csak a kezdeti kiadási dátum után egy héttel frissül.
A Databricks Runtime 7.3, 7.3 ML és 7.3 Genomics mostantól általánosan elérhetők
2020. szeptember 24.
A Databricks Runtime 7.3, a Databricks Runtime 7.3 for Machine Learning és a Databricks Runtime 7.3 for Genomics mostantól általánosan elérhető. Számos funkciót és fejlesztést tesznek elérhetővé, többek között a következőket:
- A Delta Lake teljesítményoptimalizálásai jelentősen csökkentik a többletterhelést
- Metrikák klónozása
- Delta Lake-fejlesztések
MERGE INTO
- A Delta Lake strukturált streamelés kezdeti helyének megadása
- Az Automatikus betöltő fejlesztései
- Adaptív lekérdezés-végrehajtás
- Azure Synapse Analytics-összekötő oszlophossz-vezérlése
- Továbbfejlesztett viselkedése
dbutils.credentials.showRoles
- Egyszerűsített pandas–Spark DataFrame-átalakítás
- Új
maxResultSize
hívástoPandas()
- Pandas és PySpark UDF-ek hibakeresése
- (csak ml) Conda-aktiválás a feldolgozókon
- (Csak Genomics) BGEN-fájlok nem tömörített vagy zstd-tömörített genotípusokkal való olvasásának támogatása
- Könyvtárfrissítések
További információ: Databricks Runtime 7.3 LTS (EoS) és Databricks Runtime 7.3 LTS for Machine Learning (EoS).
Egycsomópontos fürtök (nyilvános előzetes verzió)
2020. szeptember 23–29.: 3.29-es verzió
Az egycsomópontos fürt egy Spark-illesztőből és Spark-feldolgozókból álló fürt. Ezzel szemben a Standard módú fürtökhöz legalább egy Spark-feldolgozóra van szükség a Spark-feladatok futtatásához. Az egycsomópontos módú fürtök az alábbi helyzetekben hasznosak:
- Egycsomópontos gépi tanulási számítási feladatok futtatása, amelyekhez a Sparknak adatokat kell betöltenie és mentenie
- Egyszerűsített feltáró adatelemzés (EDA)
További információ: Egycsomópontos vagy többcsomópontos számítás.
DBFS REST API-sebességkorlátozás
2020. szeptember 23–29.: 3.29-es verzió
Az Azure Databricks mostantól api-sebességkorlátokat kényszerít ki a DBFS API-hívásokhoz, hogy magas színvonalú szolgáltatást biztosítson nagy terhelés mellett. A korlátok munkaterületenként vannak beállítva a tisztességes használat és a magas rendelkezésre állás biztosítása érdekében. Az automatikus újrapróbálkozások a Databricks CLI 0.12.0-s és újabb verziójával érhetők el. Azt javasoljuk minden ügyfélnek, hogy váltson a Databricks CLI legújabb verziójára.
Új ikonok az oldalsávon
2020. szeptember 23–29.
Frissítettük az oldalsávot az Azure Databricks-munkaterület felhasználói felületén. Nem nagy ügy, de úgy gondoljuk, hogy az új ikonok nagyon szépek.
Futó feladatok korlátjának növelése
2020. szeptember 23–29.: 3.29-es verzió
Az egyidejű futó feladat futási korlátja munkaterületenként 150-ről 1000-re nőtt. A rendszer a továbbiakban nem fog több mint 150-et várólistára tenni a függőben lévő állapotban. Az egyidejű futtatások feletti futtatási kérelmek várólistája helyett a 429 Too Many Requests
rendszer választ ad vissza, ha olyan futtatást kér, amely nem indítható el azonnal. Ez a korlátnövelés fokozatosan lett bevezetve, és mostantól minden régió összes munkaterületén elérhető.
Műtermékek hozzáférés-vezérlési listái az MLflow-ban
2020. szeptember 23–29.: 3.29-es verzió
Az MLflow-kísérlet engedélyei mostantól az MLflow Tracking összetevőire vannak kényszerítve, így egyszerűen szabályozhatja a modellekhez, adatkészletekhez és más fájlokhoz való hozzáférést. Alapértelmezés szerint egy új kísérlet létrehozásakor a futtatási összetevők egy MLflow által felügyelt helyen lesznek tárolva. A négy MLflow-kísérlet engedélyszintje (NINCS ENGEDÉLY, OLVASHATÓ, SZERKESZTHETŐ ÉS KEZELHETŐ) automatikusan érvényes az MLflow által felügyelt helyeken tárolt összetevők futtatására az alábbiak szerint:
- A CAN EDIT vagy CAN MANAGE engedélyekre van szükség az összetevők kísérletbe való futtatásának naplózásához.
- A CAN READ-engedélyek szükségesek a futtatási összetevők listázásához és letöltéséhez egy kísérletből.
További információt az MLflow kísérlet ACL-jeit ismertető cikkben talál.
Az MLflow használhatósággal kapcsolatos fejlesztései
2020. szeptember 23–29.: 3.29-es verzió
Ez a kiadás a következő MLflow-használhatósági fejlesztéseket tartalmazza:
- Az MLflow-kísérlet és a regisztrált modellek lapjai tippeket nyújtanak az új felhasználóknak az első lépésekhez.
- A modellverzió táblázata most egy modellverzió leírási szövegét jeleníti meg. Az új oszlop a leírás első 32 karakterét vagy első sorát (amelyik rövidebb) jeleníti meg.
Új Azure Databricks Power BI-összekötő (nyilvános előzetes verzió)
2020. szeptember 22.
A Power BI Desktop 2.85.681.0-s verziója egy új Azure Databricks Power BI-összekötőt tartalmaz, amely sokkal zökkenőmentesebbé és megbízhatóbbá teszi az Azure Databricks és a Power BI közötti integrációt. Az új összekötő a következő fejlesztésekkel rendelkezik:
- Egyszerű kapcsolatkonfiguráció: az új Power BI Azure Databricks-összekötő integrálva van a Power BI-ba, és néhány kattintással egy egyszerű párbeszédpanelen konfigurálja.
- A Microsoft Entra-azonosító hitelesítő adatain alapuló hitelesítés – a rendszergazdáknak már nincs szükségük a PAT-jogkivonatok konfigurálására.
- Az új Azure Databricks ODBC-illesztőprogramnak köszönhetően gyorsabban importálhatja és optimalizálhatja a metaadat-hívásokat, ami jelentős teljesítménybeli fejlesztésekkel jár.
- Az Azure Databricks-adatok Power BI-on keresztüli elérése tiszteletben tartja az Azure Databricks-tábla hozzáférés-vezérlését és a Microsoft Entra ID-identitáshoz társított Azure Storage-fiókengedélyeket.
További információ: Power BI csatlakoztatása az Azure Databrickshez.
Ügyfél által felügyelt kulcsok használata a DBFS-gyökeréhez (nyilvános előzetes verzió)
2020. szeptember 15.
Most már használhatja a saját titkosítási kulcsát az Azure Key Vaultban a DBFS-tárfiók titkosításához. Tekintse meg a DBFS-gyökér ügyfél által felügyelt kulcsait.
Az új JDBC-és ODBC-illesztők gyorsabb működést és kisebb késést tesznek lehetővé a BI-ban
2020. szeptember 15.
A Databricks JDBC és ODBC-illesztőprogramok (letöltés) új verzióit a következő fejlesztésekkel adtuk ki:
- Teljesítmény: Csökkentett kapcsolat és rövid lekérdezési késés, jobb eredményátviteli sebesség az Apache Arrow szerializálása és a metaadatok jobb lekérési teljesítménye alapján.
- Felhasználói élmény: Hitelesítés Microsoft Entra ID OAuth2 hozzáférési jogkivonatokkal, továbbfejlesztett hibaüzenetek és automatikus újrapróbálkozás leállítási fürthöz való csatlakozáskor, az időszakos hálózati hibák újrapróbálkozásának robusztusabb kezelése.
- HTTP-proxyt használó kapcsolatok támogatása.
A JDBC- és ODBC-eszközökhöz való csatlakozásról további információt a Databricks ODBC- és JDBC-illesztőprogramjaiban talál.
MLflow-modellkiszolgálás (nyilvános előzetes verzió)
2020. szeptember 9–15.: 3.28-os verzió
Az MLflow modellmegjelenítés nyilvános előzetes verzióban érhető el. Az MLflow modellkiszolgáló lehetővé teszi a Modellregisztrációs adatbázisban regisztrált MLflow-modell üzembe helyezését rest API-végpontként, amelyet az Azure Databricks üzemeltet és kezel. Ha engedélyezi a modellszolgáltatást egy regisztrált modellhez, az Azure Databricks létrehoz egy fürtöt, és üzembe helyezi a modell összes nem archivált verzióját.
Az összes modellverziót lekérdezheti REST API-kérésekkel, szabványos Azure Databricks-hitelesítéssel. A modell hozzáférési jogosultságai a Modellregisztrációs adatbázistól öröklődnek – a regisztrált modellek olvasási jogosultságaival bárki lekérdezheti az üzembe helyezett modellverziókat. Bár ez a szolgáltatás előzetes verzióban érhető el, javasoljuk, hogy alacsony átviteli sebességre és nem kritikus alkalmazásokra használja.
További információ: Örökölt MLflow-modell, amely az Azure Databricksen szolgál.
Fürtök felhasználói felületének fejlesztései
2020. szeptember 9–15.: 3.28-os verzió
A Fürtök lap mostantól külön lapfülekkel rendelkezik a teljes célú fürtök és feladatfürtök számára. Az egyes lapok listája mostantól lapszámozott. Emellett kijavítottuk a fürt létrehozása és a felhasználói felületen való megtekintésének közötti néha előforduló késést.
Feladatok, fürtök, jegyzetfüzetek és egyéb munkaterület-objektumok láthatósági vezérlői
2020. szeptember 9–15.: 3.28-os verzió
Alapértelmezés szerint minden felhasználó láthatja a munkaterületen lévő összes feladatot, fürtöt, jegyzetfüzetet és mappát az Azure Databricks felhasználói felületén, és listázhatja őket a Databricks API-val, még akkor is, ha az adott objektumok hozzáférés-vezérlése engedélyezve van, és a felhasználó nem rendelkezik engedélyekkel ezekhez az objektumokhoz.
Mostantól bármely Azure Databricks-rendszergazda engedélyezheti a jegyzetfüzetek és mappák (munkaterület-objektumok), fürtök és feladatok láthatósági vezérlőit, hogy a felhasználók csak azokat az objektumokat tekinthessék meg, amelyekhez hozzáférést kaptak a munkaterületen, fürtön vagy feladatok hozzáférés-vezérlésén keresztül.
Lásd A hozzáférés-vezérlők listája már nem tiltható le témakört.
A tokenek létrehozása a továbbiakban nincs alapértelmezés szerint engedélyezve
2020. szeptember 9–15.: 3.28-os verzió
Az Azure Databricks platform 3.28-es verziójának megjelenése után létrehozott munkaterületek esetében a felhasználók alapértelmezés szerint nem hozhatnak létre személyes hozzáférési jogkivonatokat. A rendszergazdáknak kifejezetten meg kell adniuk ezeket az engedélyeket, akár a teljes users
csoportnak, akár felhasználónként vagy csoportonként. A 3.28 kiadása előtt létrehozott munkaterületek fenntartják a már meglévő engedélyeket.
Lásd: Személyes hozzáférési jogkivonatok figyelése és kezelése.
Az MLflow Model Registry támogatja a modellek különböző munkaterületek közötti megosztását
2020. szeptember 9.
Az Azure Databricks mostantól több munkaterületről is támogatja a modellregisztrációs adatbázishoz való hozzáférést. Mostantól regisztrálhat modelleket, nyomon követheti a modellfuttatásokat, és betöltheti a modelleket a munkaterületeken. Mostantól több csapat is megoszthatja a modellekhez való hozzáférést, a szervezetek pedig több munkaterületet használhatnak a fejlesztés különböző szakaszainak kezelésére. Részletekért lásd : Modellek megosztása munkaterületeken.
Ehhez a funkcióhoz az MLflow Python-ügyfél 1.11.0-s vagy újabb verziója szükséges.
Databricks Runtime 7.3 (bétaverzió)
2020. szeptember 3.
A Databricks Runtime 7.3, a Databricks Runtime 7.3 for Machine Learning és a Databricks Runtime 7.3 for Genomics mostantól bétaverzióként érhető el.
További információ: Databricks Runtime 7.3 LTS (EoS) és Databricks Runtime 7.3 LTS for Machine Learning (EoS).
Azure Databricks számítási feladattípus nevének megváltoztatása
2020. szeptember 1.
A fürtök által használt számítási feladatok neve módosult:
- adatmérnök -> Feladatok számítása
- adatmérnök fény -> Feladatok – egyszerűsített számítás
- Data Analytics –> Teljes körű számítás
Ezek az új nevek megjelennek a számlákon és az EA Portalon a díjszabási csomaggal együtt (például "Premium – Jobs Compute – DBU"). További információ: Azure Databricks Meters.
A felhasználói felület a 3.27-es platformverzióban is módosult (a szakaszos kiadásra aug. 25. és szeptember 3. között van megcélzva):
A Fürtök lapon a listafejlécek módosultak:
- Interaktív fürtök –> Teljes célú fürtök
- Automatizált fürtök –> Feladatfürtök
Amikor fürtöt konfigurál egy feladathoz, a fürttípus beállításai megváltoztak:
- Új automatizált fürt –> Új feladatfürt
- Meglévő interaktív fürt –> Meglévő teljes célú fürt