Ml-modellek betanítása az Azure Databricks AutoML Python API-val

Ez a cikk bemutatja, hogyan taníthat be modelleket az Azure Databricks AutoML-lel az AutoML Python API használatával. További részletekért tekintse meg az Azure Databricks AutoML Python API-referenciáit .

Az API függvényeket biztosít az AutoML-futtatások besorolásának, regressziójának és előrejelzésének elindításához. Minden függvény modellkészletet hív meg, és minden modellhez létrehoz egy próbajegyzetfüzetet.

Lásd az AutoML-kísérletek követelményeit .

Kísérlet beállítása az AutoML API használatával

Az alábbi lépések általában azt írják le, hogyan állíthat be AutoML-kísérletet az API használatával:

1. Hozzon létre egy jegyzetfüzetet , és csatolja egy Databricks Runtime ML-t futtató fürthöz.

2. Azonosítsa a meglévő adatforrásból használni kívánt táblát, vagy töltsön fel egy adatfájlt a DBFS-be , és hozzon létre egy táblát.

3. AutoML-futtatás indításához használja a vagy automl.classify() a függvénytautoml.regress(), és adja át a táblát az egyéb betanítási paraméterekkel együtt. Az összes függvény és paraméter megtekintéséhez tekintse meg az Azure Databricks AutoML Python API-referenciáját.

   Példa:

   summary = automl.regress(dataset=train_pdf, target_col="col_to_predict")
   

4. Az AutoML-futtatás megkezdésekor megjelenik egy MLflow-kísérlet URL-címe a konzolon. Ezzel az URL-címel figyelheti a futtatás előrehaladását. Frissítse az MLflow-kísérletet, hogy a kísérletek befejeződjenek.

5. Az AutoML-futtatás befejezése után:

• A kimeneti összegzés hivatkozásaival keresse meg az MLflow-kísérletet vagy a legjobb eredményeket létrehozó jegyzetfüzetet.
• Az adatfeltáró jegyzetfüzetre mutató hivatkozás segítségével betekintést nyerhet az AutoML-nek átadott adatokba. A jegyzetfüzetet ugyanahhoz a fürthöz is csatolhatja, és újra futtathatja az eredmények reprodukálásához vagy további adatelemzéshez.
• Az AutoML-hívásból visszaadott összegző objektum segítségével további részleteket ismerhet meg a próbaverziókról, vagy betölthet egy adott próbaverzió által betanított modellt. További információ az AutoMLSummary objektumról.
• Klónozza a létrehozott jegyzetfüzeteket a próbaverziókból, és futtassa újra úgy, hogy ugyanahhoz a fürthöz csatolja az eredményeket. A szükséges módosításokat is elvégezheti, újra futtathatja őket további modellek betanítása és ugyanabba a kísérletbe való naplózásuk érdekében.

Jegyzetfüzet importálása

MLflow-összetevőként mentett jegyzetfüzet importálásához használja a databricks.automl.import_notebook Python API-t. További információ: Jegyzetfüzet importálása

Modell regisztrálása és üzembe helyezése

Az AutoML-betanított modellt ugyanúgy regisztrálhatja és helyezheti üzembe, mint bármely regisztrált modellt az MLflow-modell beállításjegyzékében; lásd: MLflow-modellek naplózása, betöltése, regisztrálása és üzembe helyezése.

Nincs elnevezve modul pandas.core.indexes.numeric

Az AutoML és a Model Service használatával készült modellek kiszolgálásakor a következő hibaüzenet jelenhet meg: No module named 'pandas.core.indexes.numeric.

Ennek oka az AutoML és a végpontkörnyezetet kiszolgáló modell közötti nem kompatibilis pandas verzió. Ezt a hibát a add-pandas-dependency.py szkript futtatásával oldhatja meg. A szkript szerkessze a requirements.txt naplózott modellt, hogy conda.yaml tartalmazza a megfelelő pandas függőségi verziót: pandas==1.5.3.

1. Módosítsa a szkriptet úgy, hogy az tartalmazza az run_id MLflow-futtatás azon részét, amelyben a modellt naplózták.
2. A modell ismételt regisztrálása az MLflow-modell beállításjegyzékében.
3. Próbálja meg kiszolgálni az MLflow-modell új verzióját.

Jegyzetfüzet-példák

Tekintse át ezeket a jegyzetfüzeteket az AutoML használatának megkezdéséhez.

Az alábbi jegyzetfüzet bemutatja, hogyan végezhet besorolást az AutoML-lel.

AutoML-besorolási példajegyzetfüzet

Jegyzetfüzet beszerzése

Az alábbi jegyzetfüzet bemutatja, hogyan végezhet regressziót az AutoML használatával.

AutoML regressziós példajegyzetfüzet

Jegyzetfüzet beszerzése

Az alábbi jegyzetfüzet bemutatja, hogyan végezhet előrejelzést az AutoML használatával.

AutoML-előrejelzési példajegyzetfüzet

Jegyzetfüzet beszerzése

Következő lépések

Azure Databricks AutoML Python API-referencia.