Január 2019.

Ezek a funkciók és az Azure Databricks platform fejlesztései 2019 januárjában jelentek meg.

Feljegyzés

A kiadások szakaszosak. Előfordulhat, hogy az Azure Databricks-fiók csak a kezdeti kiadási dátum után egy héttel frissül.

Közelgő változás: a Python 3 lesz az alapértelmezett fürt létrehozásakor

2019. január 29.

Amikor a Databricks platform 2.91-es verziója február közepén jelenik meg, az új fürtök alapértelmezett Python-verziója Python 2-ről Python 3-ra vált. A meglévő fürtök természetesen nem módosítják a Python-verziókat. Ha azonban már szokása, hogy új fürtök létrehozásakor a Python 2 alapértelmezett verzióját használja, akkor érdemes figyelnie a Python-verzió kiválasztására.

A Databricks Runtime 5.2 for Machine Learning (bétaverzió) kiadása

2019. január 24.

A Databricks Runtime 5.2 ML a Databricks Runtime 5.2(nem támogatott) verziójára épül. Számos népszerű gépi tanulási kódtárat tartalmaz, köztük a TensorFlow, a PyTorch, a Keras és az XGBoost, és elosztott TensorFlow-képzést biztosít a Horovod használatával. A Databricks Runtime ML 5.1 óta eltelt könyvtárfrissítések mellett a Databricks Runtime 5.2 ML a következő új funkciókat is tartalmazza:

• A GraphFrames mostantól támogatja a Pregel API-t (Python) a Databricks teljesítményoptimalizálásával.
• A HorovodRunner a következőt adja hozzá:
  • GPU-fürtökön a betanítási folyamatok gpu-kra vannak leképezve feldolgozó csomópontok helyett a több GPU-példány típusok támogatásának egyszerűsítése érdekében. Ez a beépített támogatás lehetővé teszi, hogy egyéni kód nélkül osztja el az összes GPU-t egy több GPU-s gépen.
  • HorovodRunner.run() most az első betanítási folyamat visszatérési értékét adja vissza.

Tekintse meg a Databricks Runtime 5.2 ML teljes kibocsátási megjegyzéseit.

A Databricks Runtime 5.2 kiadása

2019. január 24.

A Databricks Runtime 5.2 már elérhető. A Databricks Runtime 5.2 tartalmazza az Apache Spark 2.4.0-t, az új Delta Lake- és strukturált streamelési funkciókat és -frissítéseket, valamint a frissített Python-, R-, Java- és Scala-kódtárakat. További információ: Databricks Runtime 5.2 (nem támogatott).

Fürtkonfigurációs JSON-nézet

2019. január 15-22.

A fürtkonfigurációs oldal mostantól támogatja a JSON-nézetet:

A JSON-nézet írásvédett. A JSON másolásával azonban fürtöket hozhat létre és frissíthet a Clusters API-val.

Fürt felhasználói felülete

2019. január 15–22.: 2.89-es verzió

A fürtlétrehozás lapját megtisztítottuk és átszervezték a könnyű használat érdekében, beleértve az új Speciális beállítások kapcsolót is.

Az Azure Databricks üzembe helyezése saját Azure virtuális hálózaton (VNet-injektálás)

2019. január 10.

Fontos

Ez a funkció a nyilvános előzetes verzióban érhető el.

Az Azure Databricks alapértelmezett üzembe helyezése egy teljes mértékben felügyelt szolgáltatás az Azure-ban: minden számításisík-erőforrás, beleértve egy virtuális hálózatot (VNetet) is, amelyhez az összes fürt társítva lesz, egy zárolt erőforráscsoportban lesz üzembe helyezve. Ha azonban a hálózat testreszabására van szüksége, most már üzembe helyezheti az Azure Databrickset a saját virtuális hálózatában (más néven VNet-injektálás), így a következő lehetőségeket teheti lehetővé:

• Csatlakozás Azure Databrickset más Azure-szolgáltatásokba (például az Azure Storage-ba) biztonságosabban, szolgáltatásvégpontok használatával.
• Csatlakozás helyszíni adatforrásokat az Azure Databrickshez való használatra, kihasználva a felhasználó által meghatározott útvonalakat.
• Csatlakozás Azure Databrickset egy hálózati virtuális berendezésre, amely megvizsgálja az összes kimenő forgalmat, és az engedélyezési és megtagadási szabályok szerint hajt végre műveleteket.
• Az Azure Databricks konfigurálása egyéni DNS használatára.
• Konfigurálja a hálózati biztonsági csoport (NSG) szabályait a kimenő forgalom korlátozásainak megadásához.
• Azure Databricks-fürtök üzembe helyezése a meglévő virtuális hálózaton.

Az Azure Databricks saját virtuális hálózatra történő üzembe helyezése lehetővé teszi a rugalmas CIDR-tartományok előnyeit is (a virtuális hálózat /16-/24 és az alhálózatok /18-/26 között).

Az Azure Portal felhasználói felületén történő konfiguráció gyors és egyszerű: munkaterület létrehozásakor egyszerűen válassza az Azure Databricks-munkaterület üzembe helyezését a virtuális hálózaton, válassza ki a virtuális hálózatot, és adjon meg CIDR-tartományokat két alhálózathoz. Az Azure Databricks két új alhálózattal és hálózati biztonsági csoporttal frissíti a virtuális hálózatot az Ön által biztosított CIDR-tartományokkal, lehetővé teszi a bejövő és kimenő alhálózati forgalom elérését, és üzembe helyezi a munkaterületet a frissített virtuális hálózaton.

Ha a virtuális hálózatot saját maga szeretné konfigurálni a virtuális hálózatok injektálásához – például meglévő alhálózatokat szeretne használni, meglévő hálózati biztonsági csoportokat szeretne használni, vagy saját biztonsági szabályokat szeretne létrehozni – , a portál felhasználói felülete helyett használhatja az Azure-Databricks által biztosított ARM-sablonokat .

Feljegyzés

Ez a funkció korábban csak regisztrációval volt elérhető. Továbbra is előzetes verzióban érhető el, de most már teljesen önkiszolgáló.

További részletekért tekintse meg az Azure Databricks üzembe helyezését az Azure-beli virtuális hálózaton (VNet-injektálás), és Csatlakozás az Azure Databricks-munkaterületet a helyszíni hálózatra.

Kódtár felhasználói felülete

2019. január 2–9.: 2.88-os verzió

Az eredetileg 2018 novemberében megjelent és röviddel később visszaállt kódtár felhasználói felületének fejlesztései újra megjelentek. Ezek a frissítések megkönnyítik az Azure Databricks-fürtök kódtárainak feltöltését, telepítését és kezelését.

Az Azure Databricks felhasználói felülete mostantól a munkaterületi kódtárakat és a fürtre telepített kódtárakat is támogatja. A munkaterület-kódtár a munkaterületen található, és egy vagy több fürtre telepíthető. A fürtre telepített kódtárak olyan kódtárak, amelyek csak annak a fürtnek a környezetében léteznek, amelyen telepítve van. Ráadásul:

• Most már létrehozhat egy tárat egy objektumtárolóba feltöltött fájlból.
• Most már telepítheti és eltávolíthatja a kódtárak részleteit tartalmazó lapról és a fürt Tárak lapjáról.
• Az API-val telepített kódtárak mostantól megjelennek a fürt Tárak lapján.

További részletekért lásd a kódtárakat.

Fürtesemények

2019. január 2–9.: 2.88-os verzió

Új fürtesemények lettek hozzáadva a Spark-illesztőprogram állapotának megfelelően. További részletekért lásd a Clusters API-t.

A jegyzetfüzetek verziókövetése az Azure DevOps Services használatával

2019. január 2–9.: 2.88-os verzió

Az Azure Databricks mostantól megkönnyíti az Azure DevOps Services (korábbi nevén VSTS) használatát a jegyzetfüzetek verziókövetéséhez. A hitelesítés automatikus, a beállítás egyszerű, és ugyanúgy kezelheti a jegyzetfüzet változatait, mint a GitHub-integrációval.

További részletekért tekintse meg a jegyzetfüzetek Git-verziókövetését (örökölt).