Betanítási futtatások rendszerezése MLflow-kísérletekkel
A kísérletek a modellbetanítási futtatások szervezeti egységei. Kétféle kísérlet létezik: munkaterület és jegyzetfüzet.
- Létrehozhat egy munkaterület-kísérletet a Databricks Mozaik AI felhasználói felületén vagy az MLflow API-ból. A munkaterületi kísérletek nincsenek jegyzetfüzetekhez társítva, és bármely jegyzetfüzet naplózhatja a kísérletek futtatását a kísérletazonosító vagy a kísérlet neve alapján.
- Egy jegyzetfüzet-kísérlet egy adott jegyzetfüzethez van társítva. Az Azure Databricks automatikusan létrehoz egy jegyzetfüzet-kísérletet, ha nincs aktív kísérlet a futtatás mlflow.start_run() használatával történő indításakor.
Ha meg szeretné tekinteni az összes olyan kísérletet egy munkaterületen, amelyhez hozzáférése van, válassza a Machine Learning-kísérletek > lehetőséget az oldalsávon.
Munkaterület-kísérlet létrehozása
Ez a szakasz azt ismerteti, hogyan hozhat létre munkaterület-kísérletet az Azure Databricks felhasználói felületén. Létrehozhat egy munkaterület-kísérletet közvetlenül a munkaterületről vagy a Kísérletek lapról.
Az MLflow API-t vagy a Databricks Terraform-szolgáltatót is használhatja databricks_mlflow_experiment.
A munkaterületi kísérletek naplózására vonatkozó utasításokért lásd a naplózási példajegyzetfüzetet.
Kattintson a Munkaterület gombra az oldalsávon.
Lépjen arra a mappára, amelyben létre szeretné hozni a kísérletet.
Kattintson a jobb gombbal a mappára, és válassza az MLflow-kísérlet létrehozása lehetőséget>.
Az MLflow-kísérlet létrehozása párbeszédpanelen adja meg a kísérlet nevét és egy opcionális összetevőhelyet. Ha nem ad meg összetevőhelyet, a rendszer az összetevőket a következő helyen
dbfs:/databricks/mlflow-tracking/<experiment-id>
tárolja: .Az Azure Databricks támogatja a DBFS-t és az Azure Blob Storage-összetevők helyét.
Ha az összetevőket az Azure Blob Storage-ban szeretné tárolni, adja meg az űrlap
wasbs://<container>@<storage-account>.blob.core.windows.net/<path>
URI-ját. Az Azure Blob Storage-ban tárolt összetevők nem jelennek meg az MLflow felhasználói felületén; blobtároló-ügyfél használatával kell letöltenie őket.Feljegyzés
Ha egy összetevőt nem DBFS-ben tárol, az összetevő nem jelenik meg az MLflow felhasználói felületén. A DBFS-n kívüli helyeken tárolt modellek nem regisztrálhatók a Modellregisztrációs adatbázisban.
Kattintson a Létrehozás gombra. Megjelenik egy üres kísérlet.
A Kísérletek lapon új munkaterület-kísérletet is létrehozhat. Új kísérlet létrehozásához használja a legördülő menüt. A legördülő menüben kiválaszthat egy AutoML-kísérletet vagy egy üres (üres) kísérletet.
AutoML-kísérlet. Megjelenik az AutoML-kísérlet konfigurálása lap. Az AutoML használatával kapcsolatos információkért tekintse meg az ML-modellek betanítása az Azure Databricks AutoML felhasználói felületével című témakört.
Üres kísérlet. Megjelenik az MLflow-kísérlet létrehozása párbeszédpanel. Adjon meg egy nevet és egy opcionális összetevőhelyet a párbeszédpanelen egy új munkaterület-kísérlet létrehozásához. Az összetevő alapértelmezett helye a következő
dbfs:/databricks/mlflow-tracking/<experiment-id>
: .A kísérlet futtatásának naplózásához hívja meg
mlflow.set_experiment()
a kísérlet elérési útját. A kísérlet elérési útja a kísérletoldal tetején jelenik meg. Részletekért és egy példajegyzetfüzetért tekintse meg a naplózási példajegyzetfüzetet .
Jegyzetfüzet-kísérlet létrehozása
Amikor a mlflow.start_run() parancsot használja egy jegyzetfüzetben, a naplók metrikáit és paramétereit futtatja az aktív kísérlethez. Ha nincs aktív kísérlet, az Azure Databricks létrehoz egy jegyzetfüzet-kísérletet. A jegyzetfüzet-kísérletek neve és azonosítója megegyezik a megfelelő jegyzetfüzet nevével és azonosítójával. A jegyzetfüzet azonosítója a jegyzetfüzet URL-címének és azonosítójának végén található numerikus azonosító.
Másik lehetőségként átadhat egy Azure Databricks-munkaterület elérési útját egy meglévő jegyzetfüzetnek mlflow.set_experiment() egy jegyzetfüzetkísérlet létrehozásához.
A jegyzetfüzet-kísérletekbe való naplózásra vonatkozó utasításokért tekintse meg a naplózási példajegyzetfüzetet.
Feljegyzés
Ha töröl egy jegyzetfüzet-kísérletet az API használatával (például MlflowClient.tracking.delete_experiment()
Pythonban), a jegyzetfüzet maga is a Kuka mappába kerül.
Kísérletek megtekintése
Minden kísérlet, amelyhez hozzáféréssel rendelkezik, megjelenik a kísérletek oldalán. Ezen a lapon megtekintheti a kísérleteket. Kattintson egy kísérlet nevére a kísérletoldal megjelenítéséhez.
A kísérletoldal elérésének további módjai:
- A munkaterület-kísérlet kísérletoldalát a munkaterület menüjében érheti el.
- A jegyzetfüzet kísérletoldalát a jegyzetfüzetből érheti el.
Kísérletek kereséséhez írjon be szöveget a Kísérletek szűrése mezőbe, és nyomja le az Enter billentyűt, vagy kattintson a nagyító ikonra. A kísérletlista úgy változik, hogy csak azok a kísérletek jelenjenek meg, amelyek a Név, a Létrehozás, a Hely vagy a Leírás oszlopban tartalmazzák a keresési szöveget.
Kattintson a táblázatban található kísérletek nevére a kísérletoldal megjelenítéséhez:
A kísérletoldal felsorolja a kísérlethez társított összes futtatás listáját. A táblában megnyithatja a kísérlethez társított futtatás futtatási lapját a futtatási nevére kattintva. A Forrás oszlop hozzáférést biztosít a futtatásokat létrehozó jegyzetfüzet-verzióhoz. A futtatásokat metrikák vagy paraméterbeállítások alapján is keresheti és szűrheti .
Munkaterület-kísérlet megtekintése
- Kattintson a Munkaterület gombra az oldalsávon.
- Nyissa meg a kísérletet tartalmazó mappát.
- Kattintson a kísérlet nevére.
Jegyzetfüzet-kísérlet megtekintése
A jegyzetfüzet jobb oldali oldalsávján kattintson a Kísérlet ikonra .
Megjelenik a Kísérletfuttatások oldalsáv, amely a jegyzetfüzet-kísérlethez társított összes futtatás összegzését jeleníti meg, beleértve a futtatási paramétereket és a metrikákat. Az oldalsáv tetején található annak a kísérletnek a neve, amellyel a legutóbb naplózott jegyzetfüzet fut (jegyzetfüzet-kísérlet vagy munkaterület-kísérlet).
Az oldalsávon navigálhat a kísérletoldalra vagy közvetlenül egy futtatásra.
- A kísérlet megtekintéséhez kattintson a jobb szélen, a Kísérletfuttatások elem mellett.
- Futtatás megjelenítéséhez kattintson a futtatás nevére.
Kísérletek kezelése
A kísérletek lapjáról, a kísérletoldalról vagy a munkaterület menüjéből átnevezheti, törölheti vagy kezelheti a saját kísérletéhez tartozó engedélyeket.
Feljegyzés
A Databricks Git-mappában lévő jegyzetfüzet által létrehozott MLflow-kísérlet engedélyeit közvetlenül nem nevezheti át, törölheti és nem kezelheti. Ezeket a műveleteket a Git-mappa szintjén kell végrehajtania.
Kísérlet átnevezése a kísérletek oldaláról vagy a kísérletoldalról
Fontos
Ez a funkció a nyilvános előzetes verzióban érhető el.
Ha át szeretne nevezni egy kísérletet a kísérletoldalról vagy a kísérletoldalról, kattintson és válassza az Átnevezés lehetőséget.
Kísérlet átnevezése a munkaterület menüjéből
- Kattintson a Munkaterület gombra az oldalsávon.
- Nyissa meg a kísérletet tartalmazó mappát.
- Kattintson a jobb gombbal a kísérlet nevére, és válassza az Átnevezés lehetőséget.
Kísérletnév másolása
A kísérlet nevének másolásához kattintson a kísérletoldal tetején. Ezt a nevet használhatja az MLflow parancsban set_experiment
az aktív MLflow-kísérlet beállításához.
A kísérlet nevét a kísérlet oldalsávjáról is átmásolhatja egy jegyzetfüzetben.
Jegyzetfüzet-kísérlet törlése
A jegyzetfüzet-kísérletek a jegyzetfüzet részét képezik, és nem törölhetők külön. Ha töröl egy jegyzetfüzetet, a kapcsolódó jegyzetfüzet-kísérlet törlődik. Ha a felhasználói felületen töröl egy jegyzetfüzet-kísérletet, a jegyzetfüzet is törlődik.
Ha törölni szeretné a jegyzetfüzet-kísérleteket az API használatával, a Munkaterület API-val győződjön meg arról, hogy a jegyzetfüzet és a kísérlet is törlődik a munkaterületről.
Munkaterület-kísérlet törlése a munkaterület menüjéből
- Kattintson a Munkaterület gombra az oldalsávon.
- Nyissa meg a kísérletet tartalmazó mappát.
- Kattintson a jobb gombbal a kísérlet nevére, és válassza az Áthelyezés a Kukába lehetőséget.
Munkaterület vagy jegyzetfüzet-kísérlet törlése a kísérletek oldaláról vagy a kísérletoldalról
Fontos
Ez a funkció a nyilvános előzetes verzióban érhető el.
Ha törölni szeretne egy kísérletet a kísérletek oldaláról vagy a kísérletoldalról, kattintson és válassza a Törlés lehetőséget.
A jegyzetfüzet-kísérlet törlésekor a jegyzetfüzet is törlődik.
Kísérlet engedélyeinek módosítása
Ha módosítani szeretné egy kísérlet engedélyeit a kísérletoldalon, kattintson a Megosztás gombra.
A kísérletek oldaláról módosíthatja az Ön tulajdonában lévő kísérletek engedélyeit. Kattintson a Műveletek oszlopra, és válassza az Engedély lehetőséget.
A kísérletengedélyezési szintekről további információt az MLflow kísérlet ACL-jeiben talál.
Kísérletek másolása munkaterületek között
Az MLflow-kísérletek munkaterületek közötti migrálásához használhatja a közösség által vezérelt nyílt forráskód MLflow Export-Import projektet.
Az alábbi eszközökkel a következőkre van lehetőség:
- Megoszthatja és együttműködhet más adattudósokkal ugyanabban vagy egy másik követőkiszolgálón. Klónozhat például egy kísérletet egy másik felhasználótól a munkaterületre.
- Másolja az MLflow-kísérleteket, és fut a helyi nyomkövetési kiszolgálóról a Databricks-munkaterületre.
- Kritikus fontosságú kísérletek és modellek biztonsági mentése egy másik Databricks-munkaterületre.