április 2019.
Ezek a funkciók és az Azure Databricks platform fejlesztései 2019 áprilisában jelentek meg.
Feljegyzés
A kiadások szakaszosak. Előfordulhat, hogy az Azure Databricks-fiók csak a kezdeti kiadási dátum után egy héttel frissül.
MLflow az Azure Databricksben (GA)
2019. április 25.
A felügyelt MLflow az Azure Databricksen már általánosan elérhető. Az Azure Databricks MLflow szolgáltatása az MLflow üzemeltetett verzióját kínálja, amely teljes mértékben integrálva van a Databricks biztonsági modelljével és interaktív munkaterületével. Lásd: ML-életciklus-kezelés MLflow használatával.
Delta Lake az Azure Databricksben
2019. április 24.
A Databricks nyílt forráskód a Delta Lake-projektet. A Delta Lake egy olyan tárolási réteg, amely megbízhatóságot biztosít a HDFS-re és a felhőbeli tárolásra épülő data lake-ekhez azáltal, hogy acid-tranzakciókat biztosít az írások közötti optimista egyidejűség-vezérlés és a pillanatkép-elkülönítés között az írások során végzett következetes olvasás érdekében. A Delta Lake beépített adatverziót is biztosít az egyszerű visszaállításhoz és a jelentések reprodukáláshoz.
Feljegyzés
A korábban Databricks Delta-nak nevezett delta lake-nyílt forráskód projekt, valamint az Azure Databricksben elérhető optimalizálások. Lásd : Mi az a Delta Lake?.
MLflow-futtatások oldalsávja
2019. április 9– 16.: 2.95-ös verzió
Mostantól a jegyzetfüzet melletti oldalsávon tekintheti meg az MLflow-futtatásokat és az ezeket előállító jegyzetfüzet-változatokat. A jegyzetfüzet jobb oldali oldalsávján kattintson a Kísérlet ikonra .
Lásd: Jegyzetfüzet-kísérlet létrehozása.
Az Azure Data Lake Storage Gen1 és Gen2 automatikus elérése a Microsoft Entra-azonosító hitelesítő adataival (GA)
2019. április 9– 16.: 2.95-ös verzió
Örömmel jelentjük be, hogy az Azure Databricks-fürtökről az Azure Data Lake Storage Gen1 és Gen2 automatikus hitelesítése általánosan elérhető ugyanazzal a Microsoft Entra ID-identitással, amelyet az Azure Databricksbe való bejelentkezéshez használ.
Egyszerűen engedélyezze a fürtöt a Microsoft Entra ID hitelesítő adatok átadásához, és a fürtön futtatott parancsok képesek lesznek olvasni és írni az adatokat az Azure Data Lake Storage Gen1-ben és Gen2-ben anélkül, hogy konfigurálnia kellene a szolgáltatásnév hitelesítő adatait a tárolóhoz való hozzáféréshez.
További információ: Access Azure Data Lake Storage using Microsoft Entra ID (korábbi nevén Azure Active Directory) hitelesítő adatok átadása (örökölt).
Databricks Runtime 5.3 (GA)
2019. április 3.
A Databricks Runtime 5.3 már általánosan elérhető. A Databricks Runtime 5.3 új Delta Lake-funkciókat és -frissítéseket, valamint frissített Python-, R-, Java- és Scala-kódtárakat tartalmaz.
A főbb frissítések a következők:
- Databricks Delta időutazás GA
- MySQL-tábla replikálása a Delta, nyilvános előzetes verzióra
- Optimalizált DBFS FU Standard kiadás mappa mélytanulási számítási feladatokhoz
- Jegyzetfüzet-hatókörű kódtár fejlesztései
- Új Databricks Advisor-tippek
További részletekért lásd: Databricks Runtime 5.3 (nem támogatott).
Databricks Runtime 5.3 ML (GA)
2019. április 3.
A Databricks Runtime 5.3 for Machine Tanulás segítségével elértük az első Ga of Databricks Runtime ML-t! A Databricks Runtime ML használatra kész környezetet biztosít a gépi tanuláshoz és az adatelemzéshez. A Databricks Runtime-ra épül, és számos népszerű gépi tanulási kódtárat ad hozzá, köztük a TensorFlow-t, a PyTorch-ot, a Keras-t és az XGBoost-t. Az elosztott betanítást is támogatja a Horovod használatával.
Ez a verzió a Databricks Runtime 5.3-ra épül, további kódtárakkal, különböző kódtár-verziókkal és Python-kódtárakHoz készült Conda-csomagkezeléssel. A Databricks Runtime 5.2 ML bétaverziója óta a főbb új funkciók a következők:
MLlib-integráció az MLflow-val (Privát előzetes verzió), amely automatikusan naplózhatja az MLflow-futtatásokat a PySpark hangolási algoritmusaival
CrossValidator
ésTrainValidationSplit
a .Ha részt szeretne venni az előzetes verzióban, forduljon a Databricks-fiók csapatához.
Frissítés a PyArrow, a Horovod és a TensorboardX kódtárra.
A PyArrow-frissítés hozzáadja a lehetőséget a
BinaryType
nyílalapú átalakításhoz, és elérhetővé teszi a pandas UDF-ben.
További információ: Databricks Runtime 5.3 ML (nem támogatott). A Databricks Runtime ML-fürt létrehozásával kapcsolatos utasításokért tekintse meg a Databricks AI és a Machine Tanulás című témakört.