2020. szeptember

Ezek a funkciók és az Azure Databricks platform fejlesztései 2020 szeptemberében jelentek meg.

Feljegyzés

A kiadások szakaszosak. Előfordulhat, hogy az Azure Databricks-fiók csak a kezdeti kiadási dátum után egy héttel frissül.

A Databricks Runtime 7.3, 7.3 ML és 7.3 Genomics mostantól általánosan elérhetők

2020. szeptember 24.

A Databricks Runtime 7.3, a Databricks Runtime 7.3 for Machine Learning és a Databricks Runtime 7.3 for Genomics mostantól általánosan elérhető. Számos funkciót és fejlesztést tesznek elérhetővé, többek között a következőket:

• A Delta Lake teljesítményoptimalizálásai jelentősen csökkentik a többletterhelést
• Metrikák klónozása
• Delta Lake-fejlesztések MERGE INTO
• A Delta Lake strukturált streamelés kezdeti helyének megadása
• Az Automatikus betöltő fejlesztései
• Adaptív lekérdezés-végrehajtás
• Azure Synapse Analytics-összekötő oszlophossz-vezérlése
• Továbbfejlesztett viselkedése dbutils.credentials.showRoles
• Egyszerűsített pandas–Spark DataFrame-átalakítás
• Új maxResultSize hívás toPandas()
• Pandas és PySpark UDF-ek hibakeresése
• (csak ml) Conda-aktiválás a feldolgozókon
• (Csak Genomics) BGEN-fájlok nem tömörített vagy zstd-tömörített genotípusokkal való olvasásának támogatása
• Könyvtárfrissítések

További információ: Databricks Runtime 7.3 LTS (nem támogatott) és Databricks Runtime 7.3 LTS for Machine Learning (nem támogatott).

Egycsomópontos fürtök (nyilvános előzetes verzió)

2020. szeptember 23–29.: 3.29-es verzió

Az egycsomópontos fürt egy Spark-illesztőből és Spark-feldolgozókból álló fürt. Ezzel szemben a Standard módú fürtökhöz legalább egy Spark-feldolgozóra van szükség a Spark-feladatok futtatásához. Az egycsomópontos módú fürtök az alábbi helyzetekben hasznosak:

• Egycsomópontos gépi tanulási számítási feladatok futtatása, amelyekhez a Sparknak adatokat kell betöltenie és mentenie
• Egyszerűsített feltáró adatelemzés (EDA)

További információ: Egycsomópontos vagy többcsomópontos számítás.

DBFS REST API-sebességkorlátozás

2020. szeptember 23–29.: 3.29-es verzió

Az Azure Databricks mostantól api-sebességkorlátokat kényszerít ki a DBFS API-hívásokhoz, hogy magas színvonalú szolgáltatást biztosítson nagy terhelés mellett. A korlátok munkaterületenként vannak beállítva a tisztességes használat és a magas rendelkezésre állás biztosítása érdekében. Az automatikus újrapróbálkozások a Databricks CLI 0.12.0-s és újabb verziójával érhetők el. Azt javasoljuk minden ügyfélnek, hogy váltson a Databricks CLI legújabb verziójára.

Új ikonok az oldalsávon

2020. szeptember 23–29.

Frissítettük az oldalsávot az Azure Databricks-munkaterület felhasználói felületén. Nem nagy ügy, de úgy gondoljuk, hogy az új ikonok nagyon szépek.

Futó feladatok korlátjának növelése

2020. szeptember 23–29.: 3.29-es verzió

Az egyidejű futó feladat futási korlátja munkaterületenként 150-ről 1000-re nőtt. A rendszer a továbbiakban nem fog több mint 150-et várólistára tenni a függőben lévő állapotban. Az egyidejű futtatások feletti futtatási kérelmek várólistája helyett a 429 Too Many Requests rendszer választ ad vissza, ha olyan futtatást kér, amely nem indítható el azonnal. Ez a korlátnövelés fokozatosan lett bevezetve, és mostantól minden régió összes munkaterületén elérhető.

Műtermékek hozzáférés-vezérlési listái az MLflow-ban

2020. szeptember 23–29.: 3.29-es verzió

Az MLflow-kísérlet engedélyei mostantól az MLflow Tracking összetevőire vannak kényszerítve, így egyszerűen szabályozhatja a modellekhez, adatkészletekhez és más fájlokhoz való hozzáférést. Alapértelmezés szerint egy új kísérlet létrehozásakor a futtatási összetevők egy MLflow által felügyelt helyen lesznek tárolva. A négy MLflow-kísérlet engedélyszintje (NINCS ENGEDÉLY, OLVASHATÓ, SZERKESZTHETŐ ÉS KEZELHETŐ) automatikusan érvényes az MLflow által felügyelt helyeken tárolt összetevők futtatására az alábbiak szerint:

• A CAN EDIT vagy CAN MANAGE engedélyekre van szükség az összetevők kísérletbe való futtatásának naplózásához.
• A CAN READ-engedélyek szükségesek a futtatási összetevők listázásához és letöltéséhez egy kísérletből.

További információt az MLflow kísérlet ACL-jeit ismertető cikkben talál.

Az MLflow használhatósággal kapcsolatos fejlesztései

2020. szeptember 23–29.: 3.29-es verzió

Ez a kiadás a következő MLflow-használhatósági fejlesztéseket tartalmazza:

• Az MLflow-kísérlet és a regisztrált modellek lapjai tippeket nyújtanak az új felhasználóknak az első lépésekhez.
• A modellverzió táblázata most egy modellverzió leírási szövegét jeleníti meg. Az új oszlop a leírás első 32 karakterét vagy első sorát (amelyik rövidebb) jeleníti meg.

Új Azure Databricks Power BI-összekötő (nyilvános előzetes verzió)

2020. szeptember 22.

A Power BI Desktop 2.85.681.0-s verziója egy új Azure Databricks Power BI-összekötőt tartalmaz, amely sokkal zökkenőmentesebbé és megbízhatóbbá teszi az Azure Databricks és a Power BI közötti integrációt. Az új összekötő a következő fejlesztésekkel rendelkezik:

• Egyszerű kapcsolatkonfiguráció: az új Power BI Azure Databricks-összekötő integrálva van a Power BI-ba, és néhány kattintással egy egyszerű párbeszédpanelen konfigurálja.
• A Microsoft Entra-azonosító hitelesítő adatain alapuló hitelesítés – a rendszergazdáknak már nincs szükségük a PAT-jogkivonatok konfigurálására.
• Az új Azure Databricks ODBC-illesztőprogramnak köszönhetően gyorsabban importálhatja és optimalizálhatja a metaadat-hívásokat, ami jelentős teljesítménybeli fejlesztésekkel jár.
• Az Azure Databricks-adatok Power BI-on keresztüli elérése tiszteletben tartja az Azure Databricks-tábla hozzáférés-vezérlését és a Microsoft Entra ID-identitáshoz társított Azure Storage-fiókengedélyeket.

További információ: Power BI csatlakoztatása az Azure Databrickshez.

Ügyfél által felügyelt kulcsok használata a DBFS-gyökeréhez (nyilvános előzetes verzió)

2020. szeptember 15.

Most már használhatja a saját titkosítási kulcsát az Azure Key Vaultban a DBFS-tárfiók titkosításához. Tekintse meg a DBFS-gyökér ügyfél által felügyelt kulcsait.

Az új JDBC-és ODBC-illesztők gyorsabb működést és kisebb késést tesznek lehetővé a BI-ban

2020. szeptember 15.

A Databricks JDBC és ODBC-illesztőprogramok (letöltés) új verzióit a következő fejlesztésekkel adtuk ki:

• Teljesítmény: Csökkentett kapcsolat és rövid lekérdezési késés, jobb eredményátviteli sebesség az Apache Arrow szerializálása és a metaadatok jobb lekérési teljesítménye alapján.
• Felhasználói élmény: Hitelesítés Microsoft Entra ID OAuth2 hozzáférési jogkivonatokkal, továbbfejlesztett hibaüzenetek és automatikus újrapróbálkozás leállítási fürthöz való csatlakozáskor, az időszakos hálózati hibák újrapróbálkozásának robusztusabb kezelése.
• HTTP-proxyt használó kapcsolatok támogatása.

A JDBC- és ODBC-eszközökhöz való csatlakozásról további információt a Databricks ODBC- és JDBC-illesztőprogramjaiban talál.

MLflow-modellkiszolgálás (nyilvános előzetes verzió)

2020. szeptember 9–15.: 3.28-os verzió

Az MLflow modellmegjelenítés nyilvános előzetes verzióban érhető el. Az MLflow modellkiszolgáló lehetővé teszi a Modellregisztrációs adatbázisban regisztrált MLflow-modell üzembe helyezését rest API-végpontként, amelyet az Azure Databricks üzemeltet és kezel. Ha engedélyezi a modellszolgáltatást egy regisztrált modellhez, az Azure Databricks létrehoz egy fürtöt, és üzembe helyezi a modell összes nem archivált verzióját.

Az összes modellverziót lekérdezheti REST API-kérésekkel, szabványos Azure Databricks-hitelesítéssel. A modell hozzáférési jogosultságai a Modellregisztrációs adatbázistól öröklődnek – a regisztrált modellek olvasási jogosultságaival bárki lekérdezheti az üzembe helyezett modellverziókat. Bár ez a szolgáltatás előzetes verzióban érhető el, javasoljuk, hogy alacsony átviteli sebességre és nem kritikus alkalmazásokra használja.

További információ: Örökölt MLflow-modell, amely az Azure Databricksen szolgál.

Fürtök felhasználói felületének fejlesztései

2020. szeptember 9–15.: 3.28-os verzió

A Fürtök lap mostantól külön lapfülekkel rendelkezik a teljes célú fürtök és feladatfürtök számára. Az egyes lapok listája mostantól lapszámozott. Emellett kijavítottuk a fürt létrehozása és a felhasználói felületen való megtekintésének közötti néha előforduló késést.

Feladatok, fürtök, jegyzetfüzetek és egyéb munkaterület-objektumok láthatósági vezérlői

2020. szeptember 9–15.: 3.28-os verzió

Alapértelmezés szerint minden felhasználó láthatja a munkaterületen lévő összes feladatot, fürtöt, jegyzetfüzetet és mappát az Azure Databricks felhasználói felületén, és listázhatja őket a Databricks API-val, még akkor is, ha az adott objektumok hozzáférés-vezérlése engedélyezve van, és a felhasználó nem rendelkezik engedélyekkel ezekhez az objektumokhoz.

Mostantól bármely Azure Databricks-rendszergazda engedélyezheti a jegyzetfüzetek és mappák (munkaterület-objektumok), fürtök és feladatok láthatósági vezérlőit, hogy a felhasználók csak azokat az objektumokat tekinthessék meg, amelyekhez hozzáférést kaptak a munkaterületen, fürtön vagy feladatok hozzáférés-vezérlésén keresztül.

Lásd A hozzáférés-vezérlők listája már nem tiltható le témakört.

A tokenek létrehozása a továbbiakban nincs alapértelmezés szerint engedélyezve

2020. szeptember 9–15.: 3.28-os verzió

Az Azure Databricks platform 3.28-es verziójának megjelenése után létrehozott munkaterületek esetében a felhasználók alapértelmezés szerint nem hozhatnak létre személyes hozzáférési jogkivonatokat. A rendszergazdáknak kifejezetten meg kell adniuk ezeket az engedélyeket, akár a teljes users csoportnak, akár felhasználónként vagy csoportonként. A 3.28 kiadása előtt létrehozott munkaterületek fenntartják a már meglévő engedélyeket.

Lásd: Személyes hozzáférési jogkivonatok figyelése és kezelése.

Az MLflow Model Registry támogatja a modellek különböző munkaterületek közötti megosztását

2020. szeptember 9.

Az Azure Databricks mostantól több munkaterületről is támogatja a modellregisztrációs adatbázishoz való hozzáférést. Mostantól regisztrálhat modelleket, nyomon követheti a modellfuttatásokat, és betöltheti a modelleket a munkaterületeken. Mostantól több csapat is megoszthatja a modellekhez való hozzáférést, a szervezetek pedig több munkaterületet használhatnak a fejlesztés különböző szakaszainak kezelésére. Részletekért lásd : Modellek megosztása munkaterületeken.

Ehhez a funkcióhoz az MLflow Python-ügyfél 1.11.0-s vagy újabb verziója szükséges.

Databricks Runtime 7.3 (bétaverzió)

2020. szeptember 3.

A Databricks Runtime 7.3, a Databricks Runtime 7.3 for Machine Learning és a Databricks Runtime 7.3 for Genomics mostantól bétaverzióként érhető el.

További információ: Databricks Runtime 7.3 LTS (nem támogatott) és Databricks Runtime 7.3 LTS for Machine Learning (nem támogatott).

Azure Databricks számítási feladattípus nevének megváltoztatása

2020. szeptember 1.

A fürtök által használt számítási feladatok neve módosult:

• adatmérnök -> Feladatok számítása
• adatmérnök fény -> Feladatok – egyszerűsített számítás
• Data Analytics –> Teljes körű számítás

Ezek az új nevek megjelennek a számlákon és az EA Portalon a díjszabási csomaggal együtt (például "Premium – Jobs Compute – DBU"). További információ: Azure Databricks Meters.

A felhasználói felület a 3.27-es platformverzióban is módosult (a szakaszos kiadásra aug. 25. és szeptember 3. között van megcélzva):

A Fürtök lapon a listafejlécek módosultak:

• Interaktív fürtök –> Teljes célú fürtök
• Automatizált fürtök –> Feladatfürtök

Amikor fürtöt konfigurál egy feladathoz, a fürttípus beállításai megváltoztak:

• Új automatizált fürt –> Új feladatfürt
• Meglévő interaktív fürt –> Meglévő teljes célú fürt