Python-kód üzembe helyezése a Modellkiszolgálóval

Ez a cikk bemutatja, hogyan helyezheti üzembe a testreszabott Python-kódot a Mozaik AI modell-kiszolgálással. A cikkben szereplő példa arra összpontosít, hogy útmutatást nyújtson az előfeldolgozási és utófeldolgozási logika modellhez való hozzáadásához és üzembe helyezéséhez.

Az MLflow Python-függvénye( pyfunc) rugalmasságot biztosít a Python-kódok vagy bármely Python-modell üzembe helyezéséhez. Az alábbiakban példaforgatókönyveket láthat, amelyekben érdemes lehet használni az útmutatót.

• A modell előfeldolgozást igényel, mielőtt a bemenetek átadhatók a modell előrejelzési függvényének.
• Az MLflow nem támogatja natív módon a modell keretrendszerét.
• Az alkalmazás megköveteli, hogy a modell nyers kimeneteit használat után feldolgozzák.
• Maga a modell kérelemenkénti elágaztatási logikával rendelkezik.
• Teljesen egyéni kódot szeretne üzembe helyezni modellként.

Egyéni MLflow Python-függvénymodell létrehozása

Az MLflow lehetővé teszi a Python-kód naplózását az egyéni Python-modellek formátumával.

Az MLflow-jal való tetszőleges Python-kód csomagolásához két szükséges függvény szükséges:

• load_context – ebben a függvényben meg kell határozni minden olyan dolgot, amelyet csak egyszer kell betölteni a modell működéséhez. Ez kritikus fontosságú, hogy a rendszer minimalizálja a predict függvény során betöltött összetevők számát, ami felgyorsítja a következtetést.
• predict – ez a függvény tartalmazza az összes olyan logikát, amelyet a bemeneti kérések minden alkalommal futtatnak.

Jegyzet

Az egyéni kód modellként való üzembe helyezése előtt érdemes ellenőrizni, hogy a modell kiszolgálható-e. Az MLflow dokumentációjában megtudhatja, hogyan használhatja a mlflow.models.predict a modellek érvényesítésére az üzembe helyezéselőtt.

Python függvény modelljének naplózása

Annak ellenére, hogy a modellt egyéni kóddal írja, a szervezet megosztott kódmoduljait is használhatja. A code_path paraméterrel a modellek szerzői teljes kódhivatkozásokat naplózhatnak, amelyek betöltődnek az útvonalba, és más egyéni pyfunc modellekből is használhatók.

Ha például egy modell a következővel van naplózva:

mlflow.pyfunc.log_model(CustomModel(), "model", code_path = ["preprocessing_utils/"])

A preprocessing_utils kód a modell betöltött környezetében érhető el. Az alábbi példamodell ezt a kódot használja.

class CustomModel(mlflow.pyfunc.PythonModel):
    def load_context(self, context):
        self.model = torch.load(context.artifacts["model-weights"])
        from preprocessing_utils.my_custom_tokenizer import CustomTokenizer
        self.tokenizer = CustomTokenizer(context.artifacts["tokenizer_cache"])

    def format_inputs(self, model_input):
        # insert some code that formats your inputs
        pass

    def format_outputs(self, outputs):
        predictions = (torch.sigmoid(outputs)).data.numpy()
        return predictions

    def predict(self, context, model_input):
        model_input = self.format_inputs(model_input)
        outputs = self.model.predict(model_input)
        return self.format_outputs(outputs)

A modell kiszolgálása

Miután naplózza az egyéni pyfunc modellt, regisztrálhatja azt a Unity Katalógusban vagy a Munkaterület-beállításjegyzékben, és kiszolgálhatja a modellt egy modellkiszolgáló végponton.

Jegyzetfüzet példa

Az alábbi jegyzetfüzet-példa bemutatja, hogyan szabhatja testre a modell kimenetét, ha a lekérdezett modell nyers kimenetét használat után kell feldolgozni.

A kimenetet kiszolgáló modell testreszabása MLflow PyFunc-jegyzetfüzettel

Jegyzetfüzet lekérése