MLflow és Azure Machine Learning

Cikk
11/09/2024

ÉRVÉNYES:Azure CLI ml-bővítmény v2 (aktuális)Python SDK azure-ai-ml v2 (aktuális)

Ez a cikk az MLflow képességeit ismerteti, amely egy nyílt forráskódú keretrendszer, amely a teljes gépi tanulási életciklus kezelésére lett kialakítva. Az MLflow egységes eszközkészlettel tanít be és szolgál ki modelleket különböző platformokon. Az MLflow-t használhatja, függetlenül attól, hogy a kísérletek helyileg vagy távoli számítási célon, virtuális gépen vagy Azure Machine Learning számítási példányon futnak.

Az Azure Machine Learning-munkaterületek MLflow-kompatibilisek, ami azt jelenti, hogy az Azure Machine Learning-munkaterületeket ugyanúgy használhatja, mint az MLflow-kiszolgálót. Ez a kompatibilitás a következő előnyökkel jár:

Az Azure Machine Learning nem üzemeltet MLflow-kiszolgálópéldányokat, de közvetlenül használhatja az MLflow API-kat.
Az Azure Machine Learning-munkaterületet követési kiszolgálóként használhatja bármilyen MLflow-kódhoz, függetlenül attól, hogy az Az Azure Machine Learningben fut-e. Csak úgy kell konfigurálnia az MLflow-t, hogy arra a munkaterületre mutasson, ahol a nyomon követésnek történnie kell.
Bármilyen betanítási rutint futtathat, amely az MLflow-t használja az Azure Machine Learningben módosítás nélkül.

Tipp.

Az Azure Machine Learning SDK 1-sel ellentétben nincs naplózási funkció az Azure Machine Learning v2 SDK-ban. Az MLflow-naplózással gondoskodhat arról, hogy a betanítási rutinok felhőalapúak, hordozhatóak legyenek, és ne függjenek az Azure Machine Learning-hez.

Mi a nyomon követés?

Amikor feladatokkal dolgozik, az Azure Machine Learning automatikusan nyomon követi a kísérletekre vonatkozó információkat, például a kódokat, a környezetet, valamint a bemeneti és kimeneti adatokat. A modellek, paraméterek és metrikák azonban a forgatókönyvre jellemzőek, ezért a modellkészítőknek konfigurálniuk kell a nyomon követésüket.

A mentett nyomkövetési metaadatok kísérletenként változnak, és a következők lehetnek:

Kód
Környezeti adatok, például operációsrendszer-verzió és Python-csomagok
Bemeneti adatok
Paraméterkonfigurációk
Modellek
Értékelési metrikák
Kiértékelési vizualizációk, például keveredési mátrixok és fontossági diagramok
Kiértékelési eredmények, beleértve néhány kiértékelési előrejelzést is

A kísérletek nyomon követésének előnyei

Akár az Azure Machine Learningben, akár a jegyzetfüzetekben interaktív módon tanít be modelleket, a kísérletkövetés a következőket segíti:

Az összes gépi tanulási kísérletet egyetlen helyen rendszerezheti. Ezután kereshet és szűrhet kísérleteket, és lehatolást végezhet a korábbi kísérletek részleteinek megtekintéséhez.
Egyszerűen összehasonlíthatja a kísérleteket, elemezheti az eredményeket és hibakeresési modell betanítását.
Kísérletek reprodukálása vagy újrafuttatása az eredmények ellenőrzéséhez.
Az együttműködés javítása, mert láthatja, hogy a többi csapattag mit csinál, megoszthatja a kísérlet eredményeit, és programozott módon hozzáférhet a kísérletadatokhoz.

Nyomon követés az MLflow használatával

Az Azure Machine Learning-munkaterületek MLflow-kompatibilisek. Ez a kompatibilitás azt jelenti, hogy az MLflow használatával nyomon követheti a munkaterületeken lévő futtatásokat, metrikákat, paramétereket és összetevőket anélkül, hogy módosítania kellene a betanítási rutinokat, vagy bármilyen felhőspecifikus szintaxist kellene beszúrnia. Ha szeretné megtudni, hogyan használhatja az MLflow-t a kísérletek nyomon követésére és az Azure Machine Learning-munkaterületeken való futtatáshoz, olvassa el a kísérletek és modellek nyomon követése az MLflow-nal című témakört.

Az Azure Machine Learning MLflow-nyomkövetést használ a metrikák naplózásához és az összetevők tárolásához a kísérletekhez. Amikor csatlakozik az Azure Machine Learninghez, az MLflow-nyomkövetés a munkaterületen valósul meg.

Ha szeretné megtudni, hogyan engedélyezheti a naplózást a valós idejű futtatási metrikák MLflow-ral való monitorozásához, tekintse meg az MLflow-ral rendelkező naplómetrikákat, paramétereket és fájlokat. A kísérleteket és a futtatásokat az MLflow használatával is lekérdezheti és összehasonlíthatja.

Az MLflow az Azure Machine Learningben lehetővé teszi a nyomon követés központosítását. Az MLflow-t akkor is csatlakoztathatja az Azure Machine Learning-munkaterületekhez, ha helyileg vagy egy másik felhőben dolgozik. Az Azure Machine Learning-munkaterület központosított, biztonságos és skálázható helyet biztosít a betanítási metrikák és modellek tárolásához.

Az MLflow az Azure Machine Learningben a következőket teheti:

Nyomon követheti a helyileg vagy a felhőben futó gépi tanulási kísérleteket és modelleket.
Kövesse nyomon az Azure Databricks gépi tanulási kísérleteit.
Kövesse nyomon az Azure Synapse Analytics gépi tanulási kísérleteit.

Nyomon követés MLflow-val az R-ben

Az R MLflow-támogatása a következő korlátozásokkal rendelkezik:

Az MLflow-nyomkövetés az Azure Machine Learning-feladatok kísérletmetrikáinak, paramétereinek és modelljeinek nyomon követésére korlátozódik.
Az RStudio, a Posit (korábbi nevén RStudio Workbench) vagy az R kernelekkel rendelkező Jupyter-jegyzetfüzetek interaktív betanítása nem támogatott.
A modellkezelés és a regisztráció nem támogatott. A modellregisztrációhoz és -kezeléshez használja az Azure Machine Learning CLI-t vagy az Azure Machine Learning Studiót.

Az MLflow nyomkövetési ügyfél R-modellekkel való használatára az Azure Machine Learningben például az R-modellek betanítása az Azure Machine Learning CLI-vel (v2) című témakörben talál példákat.

Nyomon követés az MLflow használatával a Javában

A Java MLflow-támogatása a következő korlátozásokkal rendelkezik:

Az MLflow-nyomkövetés az Azure Machine Learning-feladatok kísérletmetrikáinak és paramétereinek nyomon követésére korlátozódik.
Az összetevők és modellek nem követhetők nyomon. Ehelyett használja a mlflow.save_model metódust a outputs feladatok mappájával a rögzíteni kívánt modellek vagy összetevők mentéséhez.

Az MLflow-követő ügyfelet az Azure Machine Learning-követő kiszolgálóval használó Java-példaért tekintse meg az azuremlflow-java című témakört.

Példajegyzetfüzetek az MLflow nyomon követéséhez

Az XGBoost-osztályozó MLflow-nal való betanítása és nyomon követése bemutatja, hogyan használható az MLflow a kísérletek, a naplómodellek nyomon követésére és több íz folyamatba való kombinálására.
Egy XGBoost-osztályozó betanítása és nyomon követése az MLflow használatával szolgáltatásnév-hitelesítéssel bemutatja, hogyan használható az MLflow az Azure Machine Learningen kívül futó számítási kísérletek nyomon követésére. A példa bemutatja, hogyan hitelesíthető az Azure Machine Learning-szolgáltatásokkal egy szolgáltatásnév használatával.
A HyperOpt és a beágyazott MLflow-futtatások használatával végzett hiperparaméter-optimalizálás bemutatja, hogyan használhatja a gyermekfuttatásokat a modellek hiperparaméter-optimalizálására a népszerű HyperOpt-kódtár használatával. A példa bemutatja, hogyan továbbíthat metrikákat, paramétereket és összetevőket a gyermekfuttatásokból a szülőfuttatásokra.
Az MLflow-alapú naplózási modellek bemutatják, hogyan használható a modellek koncepciója az MLflow-összetevők helyett. A példa azt is bemutatja, hogyan hozhat létre egyéni modelleket.
A futtatások és kísérletek MLflow használatával történő kezelése bemutatja, hogyan kérdezhet le kísérleteket, futtatásokat, metrikákat, paramétereket és összetevőket az Azure Machine Learningből az MLflow használatával.

Modellregisztráció az MLflow használatával

Az Azure Machine Learning támogatja az MLflow-t a modellkezeléshez. Ez a támogatás kényelmes módszer az MLflow-ügyfelet ismerő felhasználók számára a teljes modell életciklusának kezelésére. A modellek az Azure Machine Learning MLflow API-val történő kezelésével kapcsolatos további információkért lásd : Modellregisztrációs adatbázisok kezelése az Azure Machine Learningben MLflow használatával.

Példa jegyzetfüzet az MLflow-modell regisztrálásához

Az MLflow-alapú modellkezelés bemutatja, hogyan kezelheti a modelleket a regisztrációs adatbázisokban.

Modell üzembe helyezése az MLflow használatával

Az MLflow-modelleket üzembe helyezheti az Azure Machine Learningben, hogy kihasználhassa a továbbfejlesztett élményt. Az Azure Machine Learning támogatja az MLflow-modellek valós idejű és kötegelt végpontokon való üzembe helyezését anélkül, hogy környezetet vagy pontozószkriptet kellene megadnia.

Az MLflow SDK, az Azure Machine Learning CLI, az Azure Machine Learning SDK for Python és az Azure Machine Learning Studio mind támogatják az MLflow-modell üzembe helyezését. Az MLflow-modellek Azure Machine Learningben való valós idejű és kötegelt következtetéshez való üzembe helyezéséről további információt az MLflow-modellek üzembe helyezésének irányelvei című témakörben talál.

Példajegyzetfüzetek az MLflow-modell üzembe helyezéséhez

Az MLflow online végpontokon való üzembe helyezése bemutatja, hogyan helyezhet üzembe MLflow-modelleket online végpontokon az MLflow SDK használatával.
Az MLflow-környezetek fokozatos bevezetése bemutatja, hogyan helyezhet üzembe MLflow-modelleket online végpontokon az MLflow SDK használatával progresszív modell bevezetésével. A példa azt is mutatja, hogy a modell több verziója is ugyanarra a végpontra van üzembe helyezve.
Az MLflow-modellek régi webszolgáltatásokban való üzembe helyezése bemutatja, hogyan helyezhet üzembe MLflow-modelleket az örökölt webszolgáltatásokban (Azure Container Instances vagy Azure Kubernetes Service v1) az MLflow SDK használatával.
Modellek betanítása az Azure Databricksben és üzembe helyezésük az Azure Machine Learningben bemutatja, hogyan taníthat be modelleket az Azure Databricksben, és hogyan helyezheti üzembe őket az Azure Machine Learningben. A példa az Azure Databricks MLflow-példányával végzett kísérletek nyomon követését is ismerteti.

Betanítás MLflow-projektekkel (előzetes verzió)

Figyelmeztetés

Az Azure Machine Learningben a MLproject fájlok (MLflow-projektek) támogatása 2026 szeptemberében teljesen megszűnik. Az MLflow továbbra is teljes mértékben támogatott , és továbbra is ajánlott a gépi tanulási számítási feladatok nyomon követésére az Azure Machine Learningben.

Az MLflow használata során javasoljuk, hogy az Azure CLI vagy az Azure Machine Learning SDK for Python (v2) használatával váltson át a fájlokról MLproject az Azure Machine Learning-feladatokra. Az Azure Machine Learning-feladatokról további információt az ML-kísérletek és modellek nyomon követése az MLflow használatával című témakörben talál.

Fontos

Ez a funkció jelenleg nyilvános előzetes verzióban érhető el. Ez az előzetes verzió szolgáltatásszintű szerződés nélkül érhető el, és éles számítási feladatokhoz nem javasoljuk. Előfordulhat, hogy néhány funkció nem támogatott, vagy korlátozott képességekkel rendelkezik.

További információ: Kiegészítő használati feltételek a Microsoft Azure előzetes verziójú termékeihez.

Az MLflow-projektek használatával betanítási feladatokat küldhet be az Azure Machine Learningbe. Feladatokat küldhet be helyileg az Azure Machine Learning nyomon követésével, vagy migrálhatja a feladatokat a felhőbe az Azure Machine Learning compute használatával.

Az MLflow-projekteket az Azure Machine Learning-munkaterületekre követő betanítási feladatok elküldéséhez lásd: Betanítás MLflow-projektekkel az Azure Machine Learningben (előzetes verzió).

Példafüzetek MLflow-projektekhez