Ml-munkafolyamatok frissítése célmodellekre a Unity Catalogban

Ez a cikk bemutatja, hogyan migrálhatja és frissítheti a meglévő Databricks-munkafolyamatokat modellek használatára a Unity Catalogban.

Követelmények

Szükséges jogosultságok

A modell betanítási, üzembehelyezési vagy következtetési munkafolyamatának a Unity Catalogban való végrehajtásához a munkafolyamatot futtató egyszerű felhasználónak rendelkeznie USE CATALOG USE SCHEMA kell a modellt tartalmazó katalógusban és sémában lévő jogosultságokkal és jogosultságokkal.

A következő jogosultságokra is szükség van:

• Modell létrehozásához az egyszerű felhasználónak rendelkeznie kell a CREATE MODEL jogosultsággal.
• Modell betöltéséhez vagy üzembe helyezéséhez az egyszerű felhasználónak rendelkeznie kell a EXECUTE regisztrált modellre vonatkozó jogosultsággal.

Csak a regisztrált modell tulajdonosa végezheti el a következőket:

• Hozzon létre egy új modellverziót.
• Állítson be egy aliast egy regisztrált modellen.

Számítási követelmények

A munkafolyamathoz megadott számítási erőforrásnak hozzáféréssel kell rendelkeznie a Unity Katalógushoz. Lásd: Hozzáférési módok.

Párhuzamos betanítási, üzembe helyezési és következtetési munkafolyamatok létrehozása

A modellbetanítási és következtetési munkafolyamatok Unity Catalogra való frissítéséhez a Databricks egy növekményes megközelítést javasol, amelyben egy párhuzamos betanítási, üzembe helyezési és következtetési folyamatot hozhat létre, amely a Unity Catalog modelljeit használja. Ha elégedett az eredményekkel a Unity Catalog használatával, átállíthatja az alsóbb rétegbeli fogyasztókat a kötegelt következtetés kimenetének olvasására, vagy növelheti a Unity Katalógusban a modellek felé irányuló forgalmat a végpontok kiszolgálása során.

Modell betanítási munkafolyamata

Klónozza a modell betanítási munkafolyamatát. Ellenőrizze, hogy a munkafolyamatot futtató egyszerű és a munkafolyamathoz megadott számítás megfelel-e a követelményeknek.

Ezután módosítsa a modell betanítási kódját a klónozott munkafolyamatban. Előfordulhat, hogy klónoznia kell a munkafolyamat által futtatott jegyzetfüzetet, vagy létre kell hoznia és meg kell céloznia egy új Git-ágat a klónozott munkafolyamatban. Az alábbi lépéseket követve telepítse az MLflow szükséges verzióját, és konfigurálja az ügyfelet, hogy a Unity-katalógust célozza meg a betanítási kódban. Ezután frissítse a modell betanítási kódját, hogy modelleket regisztráljon a Unity Catalogban. Lásd: Unity Catalog-kompatibilis modellek betanítása és regisztrálása.

Modell üzembehelyezési munkafolyamata

Klónozza a modell üzembehelyezési munkafolyamatát. Ellenőrizze, hogy a munkafolyamatot futtató egyszerű és a munkafolyamathoz megadott számítás megfelel-e a követelményeknek.

Ha az üzembehelyezési munkafolyamatban modellérvényesítési logikával rendelkezik, frissítse, hogy betöltse a modellverziókat az UC-ból. Az éles modell bevezetésének kezelése aliasokkal .

Modellkövetkező munkafolyamat

Batch-következtetési munkafolyamat

Klónozza a kötegelt következtetési munkafolyamatot. Ellenőrizze, hogy a munkafolyamatot futtató egyszerű és a munkafolyamathoz megadott számítás megfelel-e a követelményeknek.

Modellkiszolgáló munkafolyamat

Ha Mozaik AI-modell-kiszolgálót használ, nem kell klónoznia a meglévő végpontot. Ehelyett a forgalom felosztási funkciójával elindíthatja a forgalom egy kis részét a Unity Catalog modelljeinek irányításához. Amikor áttekinti az eredményeket a Unity Catalog használatával, növelje a forgalom mennyiségét, amíg az összes forgalmat át nem irányítják.

Modell előléptetése környezetek között

A modellek környezetek közötti népszerűsítése másképp működik a Unity Catalog modelljeivel. További részletekért lásd : Modell előléptetése környezetek között.

Feladat webhookok használata a modell üzembe helyezésének manuális jóváhagyásához

A Databricks javasolja, hogy lehetőség szerint automatizálja a modell üzembe helyezését a modell üzembe helyezése során a megfelelő ellenőrzések és tesztek használatával. Ha azonban manuális jóváhagyásokat kell végrehajtania az éles modellek üzembe helyezéséhez, a feladatértesítések segítségével meghívhatja a külső CI/CD-rendszereket, hogy manuális jóváhagyást kérjenek a modell üzembe helyezéséhez, miután a modell betanítási feladata sikeresen befejeződött. Miután megadta a manuális jóváhagyást, a CI/CD-rendszer üzembe helyezheti a modellverziót a forgalom kiszolgálására, például a "Champion" alias beállításával.