2019. február
Ezek a funkciók és az Azure Databricks platform fejlesztései 2019 februárjában jelentek meg.
Feljegyzés
A kiadások szakaszosak. Előfordulhat, hogy az Azure Databricks-fiók csak a kezdeti kiadási dátum után egy héttel frissül.
A Databricks Light általánosan elérhetővé vált
2019. február 26. – március 5.: 2.92-es verzió
A Databricks Light (más néven adatmérnök fény) már elérhető. A Databricks Light az Apache Spark-futtatókörnyezet nyílt forráskód Databricks-csomagolása. Futtatókörnyezeti lehetőséget biztosít azokhoz a feladatokhoz, amelyeknek nincs szükségük a Databricks Runtime által biztosított fejlett teljesítményre, megbízhatóságra vagy automatikus skálázási előnyökre. A Databricks Lightot csak akkor választhatja ki, ha jar-, Python- vagy Spark-küldési feladat futtatásához hoz létre fürtöt. Nem választhatja ki ezt a futtatókörnyezetet azokhoz a fürtökhöz, amelyeken interaktív vagy jegyzetfüzetfeladat-számítási feladatokat futtat. Lásd: Databricks Light.
Felügyelt MLflow az Azure Databricksben, nyilvános előzetes verzió
2019. február 26. – március 5.: 2.92-es verzió
Az MLflow egy nyílt forráskódú platform, amely lehetővé teszi a teljes gépi tanulási életciklus kezelését. Három elsődleges funkcióval foglalkozik:
- Kísérletek nyomon követése paraméterek és eredmények rögzítéséhez és összehasonlításához.
- Modellek kezelése és üzembe helyezése különböző ML-kódtárakból különböző modellkiszolgáló és -következtetési platformokra.
- Ml-kód újrahasználható, reprodukálható formában történő csomagolása más adattudósokkal való megosztáshoz vagy az éles környezetbe történő átvitelhez.
Az Azure Databricks mostantól az MLflow teljes körűen felügyelt és üzemeltetett verzióját biztosítja, amely integrálva van a nagyvállalati biztonsági funkciókkal, a magas rendelkezésre állással és más Azure Databricks-munkaterületi funkciókkal, például a kísérletkezeléssel, a futtatáskezeléssel és a jegyzetfüzet-változatrögzítéssel. Az Azure Databricks MLflow szolgáltatása integrált felületet nyújt a gépi tanulási modell betanításának és a gépi tanulási projektek futtatásának követéséhez és biztonságossá tételéhez. A felügyelt MLflow Azure Databricksen való használatával mindkét platform előnyeit élvezheti, beleértve a következőket:
- Munkaterületek: Kísérletek és eredmények közös nyomon követése és rendszerezése az Azure Databricks-munkaterületeken egy üzemeltetett MLflow Tracking Serverrel és integrált kísérlet felhasználói felülettel. Ha az MLflow-t jegyzetfüzetekben használja, az Azure Databricks automatikusan rögzíti a jegyzetfüzet változatait, hogy ugyanazt a kódot reprodukálhassa, és később fusson.
- Biztonság: Használja ki a teljes ml-életciklus egyetlen gyakori biztonsági modelljét ACL-ek használatával.
- Feladatok: MLflow-projektek futtatása Azure Databricks-feladatokként távolról és közvetlenül az Azure Databricks-jegyzetfüzetekből.
Íme egy azure Databricks-munkaterület nyomkövetési munkafolyamatának bemutatója:
További információ: Az ML és a mélytanulási betanítási futtatások nyomon követése és MLflow-projektek futtatása az Azure Databricksen.
Az Azure Data Lake Storage Gen2-összekötő általánosan elérhető
2019. február 15.
Az Azure Data Lake Storage Gen2 (ADLS Gen2) a big data-elemzések következő generációs data lake-megoldása, a GA, valamint az Azure Databricks ADLS Gen2-összekötője. Örömmel jelentjük be azt is, hogy az ADLS Gen2 támogatja a Databricks Delta-t, amikor fürtöket futtat a Databricks Runtime 5.2-ben és újabb verziókban.
A fürtök létrehozásakor a Python 3 az alapértelmezett nyelv
2019. február 12–19.: 2.91-es verzió
A felhasználói felületen létrehozott fürtök alapértelmezett Python-verziója Python 2-ről Python 3-ra váltott. A REST API használatával létrehozott fürtök alapértelmezett értéke továbbra is Python 2.
A meglévő fürtök nem módosítják a Python-verziókat. Ha azonban már szokása, hogy új fürtök létrehozásakor a Python 2 alapértelmezett verzióját használja, akkor érdemes figyelnie a Python-verzió kiválasztására.
A Delta Lake általánosan elérhető
2019. február 1.
Most már mindenki élvezheti a Databricks Delta hatékony tranzakciós tárolási rétegének előnyeit és a szupergyors olvasást: február 1-jén a Delta Lake ga-t használ, és a Databricks Runtime összes támogatott verziójában elérhető. További információ a Delta-ról: Mi az a Delta Lake?.