2020. július
Ezek a funkciók és az Azure Databricks platform fejlesztései 2020 júliusában jelentek meg.
Feljegyzés
A kiadások szakaszosak. Előfordulhat, hogy az Azure Databricks-fiók csak a kezdeti kiadási dátum után egy héttel frissül.
Webes terminál (nyilvános előzetes verzió)
2020. július 29–augusztus 4.: 3.25-ös verzió
A webterminál kényelmes és rendkívül interaktív módot biztosít a fürtön a CAN ATTACH TO engedéllyel rendelkező felhasználók számára a rendszerhéjparancsok futtatásához, beleértve az olyan szerkesztőket is, mint a Vim vagy az Emacs. A webes terminál például az erőforrás-használat monitorozását és a Linux-csomagok telepítését foglalja magában.
További részletekért lásd : Rendszerhéjparancsok futtatása az Azure Databricks webes terminálban.
Új, még biztonságosabb globális keretrendszer init szkriptekhez (nyilvános előzetes verzió)
2020. július 29. – augusztus 4.: 3.25-ös verzió
Az új globális init szkript-keretrendszer jelentős fejlesztéseket hoz az örökölt globális init szkriptekkel szemben:
- Az Init-szkriptek biztonságosabbak, és rendszergazdai engedélyeket igényelnek a létrehozáshoz, megtekintéshez és törléshez.
- A szkripttel kapcsolatos indítási hibák naplózása megtörténik.
- Több init szkript végrehajtási sorrendjét is beállíthatja.
- Az Init-szkriptek hivatkozhatnak a fürthöz kapcsolódó környezeti változókra.
- Az Init-szkriptek a rendszergazdai beállítások oldalán vagy az új Global Init Scripts REST API-val hozhatók létre és kezelhetők.
A Databricks azt javasolja, hogy migrálja a meglévő örökölt globális init-szkripteket az új keretrendszerbe , hogy kihasználhassa a fejlesztések előnyeit.
További részletekért lásd : Globális init-szkriptek használata.
Mostantól általánosan rendelkezésre álló IP-hozzáférési listák
2020. július 29. – augusztus 4.: 3.25-ös verzió
Az IP-hozzáférési lista API általánosan elérhető.
A GA-verzió egy módosítást tartalmaz, amely az list_type értékek átnevezése:
WHITELIST/ALLOW BLACKLIST/BLOCK
Az IP-hozzáférési lista API-val konfigurálhatja az Azure Databricks-munkaterületeket, hogy a felhasználók csak meglévő vállalati hálózatokon keresztül csatlakozzanak a szolgáltatáshoz, biztonságos peremhálózattal. Az Azure Databricks rendszergazdái az IP-hozzáférési lista API használatával meghatározhatnak jóváhagyott IP-címeket, beleértve az engedélyezési és blokklistákat is. A webalkalmazáshoz és a REST API-khoz való minden bejövő hozzáféréshez egy hitelesített IP-címről kell csatlakoznia a felhasználónak, garantálva, hogy a munkaterületek csak akkor érhetők el nyilvános hálózatról, mint egy kávézó vagy egy repülőtér, kivéve, ha a felhasználók VPN-t használnak.
Ehhez a funkcióhoz prémium csomag szükséges.
További információ: IP-hozzáférési listák konfigurálása munkaterületekhez.
Új fájlfeltöltési párbeszédablak
2020. július 29. – augusztus 4.: 3.25-ös verzió
Mostantól feltölthet kis táblázatos adatfájlokat (például CSV-ket), és elérheti őket egy jegyzetfüzetből a Jegyzetfüzet fájl menüjének Adatok hozzáadása parancsával. A létrehozott kód bemutatja, hogyan töltheti be az adatokat a Pandasba vagy a DataFramesbe. A rendszergazdák letilthatják ezt a funkciót a Felügyeleti konzol Speciális lapján.
További információ: Fájlok tallózása a DBFS-ben.
SCIM API szűrési és rendezési fejlesztései
2020. július 29. – 2020. augusztus 4.: 3.25-ös verzió
Az SCIM API mostantól az alábbi szűrési és rendezési fejlesztéseket tartalmazza:
- A rendszergazda felhasználók szűrhetik a felhasználókat az
activeattribútum alapján. - Minden felhasználó rendezheti az eredményeket a és
sortOrderasortBylekérdezési paraméterek használatával. Az alapértelmezett beállítás az azonosító szerinti rendezés.
További Azure Government-régiók
2020. július 25.
Az Azure Databricks a közelmúltban elérhetővé vált az USA Gov Arizona és az USA Gov Virginia régióiban az USA kormányzati entitásai és partnerei számára.
Databricks Runtime 7.1 GA
2020. július 21.
A Databricks Runtime 7.1 számos további funkciót és fejlesztést kínál a Databricks Runtime 7.0-hoz, többek között a következőket:
- Google BigQuery-összekötő
%pipparancsok a jegyzetfüzet-munkamenetben telepített Python-kódtárak kezeléséhez- Koalas telepítve
- Számos Delta Lake-fejlesztés, többek között:
- Felhasználó által definiált véglegesítési metaadatok beállítása
- Az aktuális által írt utolsó véglegesítés verziójának lekérése
SparkSession - Strukturált streamelés által létrehozott parquet-táblák konvertálása a
_spark_metadatatranzakciónapló használatával MERGE INTOteljesítménybeli fejlesztések
További részletekért tekintse meg a Databricks Runtime 7.1 (nem támogatott) kiadási megjegyzéseit.
Databricks Runtime 7.1 ML GA
2020. július 21.
A Databricks Runtime 7.1 for Machine Learning a Databricks Runtime 7.1-en alapul, és a következő új funkciókat és kódtár-módosításokat tartalmazza:
- pip és conda magic parancsok alapértelmezés szerint engedélyezve
- spark-tensorflow-distributor: 0.1.0
- párna 7.0.0 -> 7.1.0
- pytorch 1.5.0 –> 1.5.1
- torchvision 0.6.0 -> 0.6.1
- horovod 0.19.1 -> 0.19.5
- mlflow 1.8.0 -> 1.9.1
További részletekért tekintse meg a Databricks Runtime 7.1 for ML (nem támogatott) kiadási megjegyzéseit.
Databricks Runtime 7.1 Genomics GA
2020. július 21.
A Databricks Runtime 7.1 for Genomics a Databricks Runtime 7.1-en alapul, és a következő új funkciókat kínálja:
- LOCO-átalakítás
- GloWGR kimeneti átalakító függvény
- Az RNSeq ki nem fizetett igazításokat ad ki
Databricks Connect 7.1 (Nyilvános előzetes verzió)
2020. július 17.
A Databricks Connect 7.1 nyilvános előzetes verzióban érhető el.
IP-hozzáférési lista API-frissítései
2020. július 15–21.: 3.24-es verzió
A következő IP-hozzáférési lista API-tulajdonságai megváltoztak:
updator_user_id/updated_by creator_user_id/created_by
A Python-jegyzetfüzetek mostantól támogatják a cellánkénti több kimenetet
2020. július 15–21.: 3.24-es verzió
A Python-jegyzetfüzetek mostantól cellánként több kimenetet is támogatnak. Ez azt jelenti, hogy tetszőleges számú megjelenítési, displayHTML- vagy nyomtatási utasítást tartalmazhat egy cellában. Kihasználhatja, hogy a nyers adatokat és a diagramot ugyanabban a cellában tekintheti meg, vagy az összes kimenetet, amely sikeres volt, mielőtt hibát észlelt.
Ehhez a funkcióhoz a Databricks Runtime 7.1 vagy újabb verziója szükséges, és alapértelmezés szerint le van tiltva a Databricks Runtime 7.1-ben. Engedélyezze a beállítással spark.databricks.workspace.multipleResults.enabled true.
Jegyzetfüzet kód- és eredménycelláinak megtekintése egymás mellett
2020. július 15–21.: 3.24-es verzió
Az új egymás melletti jegyzetfüzet-megjelenítési beállítással egymás mellett tekintheti meg a kódot és az eredményeket. Ez a megjelenítési beállítás összekapcsolja a "Standard" (korábbi nevén "Kód") és a "Csak eredmények" lehetőséget.
Feladatütemezések szüneteltetése
2020. július 15–21.: 3.24-es verzió
A feladatok ütemezése mostantól szünetelteti és feloldja a szüneteltetés gombot, így egyszerűen szüneteltetheti és folytathatja a feladatokat. Mostantól anélkül módosíthatja a feladatütemezést, hogy a módosítások végrehajtása közben további feladatok futnak. A Futtatás most parancs által aktivált aktuális futtatásokra vagy futtatásokra nincs hatással. További információ: Feladatütemezés szüneteltetése és folytatása.
A Feladatok API végpontjai érvényesítik a futtatási azonosítót
2020. július 15–21.: 3.24-es verzió
Az jobs/runs/cancel ÉS jobs/runs/output API-végpontok mostantól ellenőrzik, hogy a run_id paraméter érvényes-e. Érvénytelen paraméterek esetén ezek az API-végpontok az 500-es kód helyett a 400-es HTTP-állapotkódot adják vissza.
Microsoft Entra ID-jogkivonatok a Databricks REST API GA-nak való engedélyezéshez
2020. július 15–21.: 3.24-es verzió
Mostantól általánosan elérhető a Microsoft Entra ID-jogkivonatok használata a Workspace API-val való hitelesítéshez. A Microsoft Entra ID-jogkivonatokkal automatizálhatja az új munkaterületek létrehozását és beállítását. A szolgáltatásnevek alkalmazásobjektumok a Microsoft Entra-azonosítóban. Az Azure Databricks-munkaterületeken belüli szolgáltatásnevek használatával is automatizálhatja a munkafolyamatokat. További információ: Microsoft Entra ID (korábbi nevén Azure Active Directory) jogkivonatok.
SQL automatikus formázása a jegyzetfüzetekben
2020. július 15–21.: 3.24-es verzió
Mostantól formázhatja az SQL-jegyzetfüzetcellák billentyűparancsait, a parancs helyi menüjét és a jegyzetfüzet szerkesztési menüjét (válassza az SQL-cellák formázásának szerkesztése lehetőséget > ). Az SQL-formázás megkönnyíti a kód olvasását és karbantartását kis erőfeszítéssel. Sql-jegyzetfüzetekhez és cellákhoz is %sql használható.
A Maven- és CRAN-kódtárak telepítésének reprodukálható sorrendje
2020. július 1–9. 3.23-i verzió
Az Azure Databricks mostantól a Maven- és CRAN-kódtárakat a fürtre telepített sorrendben dolgozza fel.
A felhasználók személyes hozzáférési jogkivonatának vezérlése a Token Management API-val (nyilvános előzetes verzió)
2020. július 1–9. 3.23-i verzió
Az Azure Databricks rendszergazdái mostantól a Token Management API használatával kezelhetik felhasználóik Azure Databricks személyes hozzáférési jogkivonatait:
- A felhasználók személyes hozzáférési jogkivonatainak monitorozása és visszavonása.
- A jövőbeni jogkivonatok élettartamának szabályozása a munkaterületen.
- Szabályozhatja, hogy mely felhasználók hozhatnak létre és használhatnak jogkivonatokat.
Lásd: Személyes hozzáférési jogkivonatok figyelése és kezelése.
Kivágott jegyzetfüzetcellák visszaállítása
2020. július 1–9. 3.23-i verzió
Most már visszaállíthatja a kivágott jegyzetfüzetcellát a (Z) billentyűparanccsal, vagy a Kivágott cellák szerkesztése parancsot > választva. Ez a funkció hasonló a törölt cellák visszavonásához.
Feladatok hozzárendelése KEZELHETŐ engedély nem rendszergazdai felhasználók számára
2020. július 1–9. 3.23-i verzió
Mostantól nem rendszergazdai felhasználókat és csoportokat rendelhet a CAN MANAGE jogosultsághoz a feladatokhoz. Ez az engedélyszint lehetővé teszi a felhasználók számára a feladat összes beállításának kezelését, beleértve az engedélyek hozzárendelését, a tulajdonos módosítását és a fürt konfigurációjának módosítását (például kódtárak hozzáadását és a fürt specifikációjának módosítását). Lásd: Feladathoz való hozzáférés szabályozása.
A nem rendszergazda Azure Databricks-felhasználók megtekinthetik és szűrhetnek felhasználónév alapján az SCIM API-val
2020. július 1–9. 3.23-i verzió
A nem rendszergazdai felhasználók mostantól megtekinthetik a felhasználóneveket, és felhasználónevek alapján szűrhetik a felhasználókat az SCIM /Users végpont használatával.
Hivatkozás a fürtspecifikáció megtekintéséhez a feladatfuttatások részletei megtekintésekor
2020. július 1–9. 3.23-i verzió
Most, amikor megtekinti a feladatfuttatás részleteit, a fürtkonfigurációs lapra mutató hivatkozásra kattintva megtekintheti a fürt specifikációját. Korábban ki kellett másolnia a feladatazonosítót az URL-címről, és a fürtlistára kell lépnie a kereséshez.
Visszajelzés
Hamarosan elérhető: 2024-ben fokozatosan kivezetjük a GitHub-problémákat a tartalom visszajelzési mechanizmusaként, és lecseréljük egy új visszajelzési rendszerre. További információ: https://aka.ms/ContentUserFeedback.
Visszajelzés küldése és megtekintése a következőhöz: