Január 2019.
Ezek a funkciók és az Azure Databricks platform fejlesztései 2019 januárjában jelentek meg.
Feljegyzés
A kiadások szakaszosak. Előfordulhat, hogy az Azure Databricks-fiók csak a kezdeti kiadási dátum után egy héttel frissül.
Közelgő változás: a Python 3 lesz az alapértelmezett fürt létrehozásakor
2019. január 29.
Amikor a Databricks platform 2.91-es verziója február közepén jelenik meg, az új fürtök alapértelmezett Python-verziója Python 2-ről Python 3-ra vált. A meglévő fürtök természetesen nem módosítják a Python-verziókat. Ha azonban már szokása, hogy új fürtök létrehozásakor a Python 2 alapértelmezett verzióját használja, akkor érdemes figyelnie a Python-verzió kiválasztására.
A Databricks Runtime 5.2 for Machine Learning (bétaverzió) kiadása
2019. január 24.
A Databricks Runtime 5.2 ML a Databricks Runtime 5.2 (EoS) platformra épül. Számos népszerű gépi tanulási kódtárat tartalmaz, köztük a TensorFlow, a PyTorch, a Keras és az XGBoost, és elosztott TensorFlow-képzést biztosít a Horovod használatával. A Databricks Runtime ML 5.1 óta eltelt könyvtárfrissítések mellett a Databricks Runtime 5.2 ML a következő új funkciókat is tartalmazza:
- A GraphFrames mostantól támogatja a Pregel API-t (Python) a Databricks teljesítményoptimalizálásával.
- A HorovodRunner a következőt adja hozzá:
- GPU-fürtökön a betanítási folyamatok gpu-kra vannak leképezve feldolgozó csomópontok helyett a több GPU-példány típusok támogatásának egyszerűsítése érdekében. Ez a beépített támogatás lehetővé teszi, hogy egyéni kód nélkül osztja el az összes GPU-t egy több GPU-s gépen.
HorovodRunner.run()most az első betanítási folyamat visszatérési értékét adja vissza.
Tekintse meg a Databricks Runtime 5.2 ML teljes kibocsátási megjegyzéseit.
A Databricks Runtime 5.2 kiadása
2019. január 24.
A Databricks Runtime 5.2 már elérhető. A Databricks Runtime 5.2 tartalmazza az Apache Spark 2.4.0-t, az új Delta Lake- és strukturált streamelési funkciókat és -frissítéseket, valamint a frissített Python-, R-, Java- és Scala-kódtárakat. További részletekért lásd: Databricks Runtime 5.2 (EoS).
Fürtkonfigurációs JSON-nézet
2019. január 15-22.
A fürtkonfigurációs oldal mostantól támogatja a JSON-nézetet:
A JSON-nézet írásvédett. A JSON másolásával azonban fürtöket hozhat létre és frissíthet a Clusters API-val.
Fürt felhasználói felülete
2019. január 15–22.: 2.89-es verzió
A fürtlétrehozás lapját megtisztítottuk és átszervezték a könnyű használat érdekében, beleértve az új Speciális beállítások kapcsolót is.
Az Azure Databricks üzembe helyezése saját Azure virtuális hálózaton (VNet-injektálás)
2019. január 10.
Fontos
Ez a funkció a nyilvános előzetes verzióban érhető el.
Az Azure Databricks alapértelmezett üzembe helyezése egy teljes mértékben felügyelt szolgáltatás az Azure-ban: minden számításisík-erőforrás, beleértve egy virtuális hálózatot (VNetet) is, amelyhez az összes fürt társítva lesz, egy zárolt erőforráscsoportban lesz üzembe helyezve. Ha azonban a hálózat testreszabására van szüksége, most már üzembe helyezheti az Azure Databrickset a saját virtuális hálózatában (más néven VNet-injektálás), így a következő lehetőségeket teheti lehetővé:
- Az Azure Databricks csatlakoztatása más Azure-szolgáltatásokhoz (például az Azure Storage-hoz) biztonságosabban, szolgáltatásvégpontok használatával.
- Csatlakozzon a helyszíni adatforrásokhoz az Azure Databrickshez való használatra, kihasználva a felhasználó által megadott útvonalakat.
- Az Azure Databricks csatlakoztatása egy hálózati virtuális berendezéshez az összes kimenő forgalom vizsgálatához, valamint az engedélyezési és megtagadási szabályok szerinti műveletek végrehajtásához.
- Az Azure Databricks konfigurálása egyéni DNS használatára.
- Konfigurálja a hálózati biztonsági csoport (NSG) szabályait a kimenő forgalom korlátozásainak megadásához.
- Azure Databricks-fürtök üzembe helyezése a meglévő virtuális hálózaton.
Az Azure Databricks saját virtuális hálózatra történő üzembe helyezése lehetővé teszi a rugalmas CIDR-tartományok előnyeit is (a virtuális hálózat /16-/24 és az alhálózatok /18-/26 között).
Az Azure Portal felhasználói felületén történő konfiguráció gyors és egyszerű: munkaterület létrehozásakor egyszerűen válassza az Azure Databricks-munkaterület üzembe helyezését a virtuális hálózaton, válassza ki a virtuális hálózatot, és adjon meg CIDR-tartományokat két alhálózathoz. Az Azure Databricks két új alhálózattal és hálózati biztonsági csoporttal frissíti a virtuális hálózatot az Ön által biztosított CIDR-tartományokkal, lehetővé teszi a bejövő és kimenő alhálózati forgalom elérését, és üzembe helyezi a munkaterületet a frissített virtuális hálózaton.
Ha a virtuális hálózatot saját maga szeretné konfigurálni a virtuális hálózatok injektálásához – például meglévő alhálózatokat szeretne használni, meglévő hálózati biztonsági csoportokat szeretne használni, vagy saját biztonsági szabályokat szeretne létrehozni – , a portál felhasználói felülete helyett használhatja az Azure-Databricks által biztosított ARM-sablonokat .
Feljegyzés
Ez a funkció korábban csak regisztrációval volt elérhető. Továbbra is előzetes verzióban érhető el, de most már teljesen önkiszolgáló.
További részletekért lásd : Azure Databricks üzembe helyezése az Azure-beli virtuális hálózaton (VNet-injektálás), és Az Azure Databricks-munkaterület csatlakoztatása a helyszíni hálózathoz.
Kódtár felhasználói felülete
2019. január 2–9.: 2.88-os verzió
Az eredetileg 2018 novemberében megjelent és röviddel később visszaállt kódtár felhasználói felületének fejlesztései újra megjelentek. Ezek a frissítések megkönnyítik az Azure Databricks-fürtök kódtárainak feltöltését, telepítését és kezelését.
Az Azure Databricks felhasználói felülete mostantól a munkaterületi kódtárakat és a fürtre telepített kódtárakat is támogatja. A munkaterület-kódtár a munkaterületen található, és egy vagy több fürtre telepíthető. A fürtre telepített kódtárak olyan kódtárak, amelyek csak annak a fürtnek a környezetében léteznek, amelyen telepítve van. Ráadásul:
- Most már létrehozhat egy tárat egy objektumtárolóba feltöltött fájlból.
- Most már telepítheti és eltávolíthatja a kódtárak részleteit tartalmazó lapról és a fürt Tárak lapjáról.
- Az API-val telepített kódtárak mostantól megjelennek a fürt Tárak lapján.
További részletekért lásd a kódtárakat.
Fürtesemények
2019. január 2–9.: 2.88-os verzió
Új fürtesemények lettek hozzáadva a Spark-illesztőprogram állapotának megfelelően. További részletekért lásd a Clusters API-t.
A jegyzetfüzetek verziókövetése az Azure DevOps Services használatával
2019. január 2–9.: 2.88-os verzió
Az Azure Databricks mostantól megkönnyíti az Azure DevOps Services (korábbi nevén VSTS) használatát a jegyzetfüzetek verziókövetéséhez. A hitelesítés automatikus, a beállítás egyszerű, és ugyanúgy kezelheti a jegyzetfüzet változatait, mint a GitHub-integrációval.
További részletekért tekintse meg a jegyzetfüzetek Git-verziókövetését (örökölt).