A Mistral nyomában

Az MLflow Tracing biztosítja a Mistral AI-modellekkel való interakciók megfigyelhetőségét. Ha a Mistral automatikus nyomkövetés a függvény meghívásával mlflow.mistral.autolog engedélyezve van, a Mistral SDK használata automatikusan rögzíti a létrehozott nyomkövetéseket az interaktív fejlesztés során.

Vegye figyelembe, hogy csak a Text Generation API-ra irányuló szinkron hívások támogatottak, és az aszinkron API és a streamelési módszerek nem lesznek nyomon követve.

Előfeltételek

Az alábbi példák futtatása előtt győződjön meg arról, hogy rendelkezik a következőkkel:

1. A Databricks hitelesítő adatai konfigurálva: Ha a Databricksen kívül fut, állítsa be a környezeti változókat:

   export DATABRICKS_HOST="https://your-workspace.cloud.databricks.com"
   export DATABRICKS_TOKEN="your-personal-access-token"
   

   Jótanács

   Ha a Databricks-jegyzetfüzet környezetben futtat, ezeket automatikusan beállítják Önnek.

2. Mistral API-kulcs: Győződjön meg arról, hogy az API-kulcs konfigurálva van. Éles környezetekben használja a Mosaic AI Gateway-t vagy a Databricks secret-eket a biztonságos API-kulcskezeléshez a hardcoded értékek helyett:

   export MISTRAL_API_KEY="your-mistral-api-key"
   

Használati példa

import os

from mistralai import Mistral

import mlflow

# Turn on auto tracing for Mistral AI by calling mlflow.mistral.autolog()
mlflow.mistral.autolog()

# Set up MLflow tracking on Databricks
mlflow.set_tracking_uri("databricks")
mlflow.set_experiment("/Shared/mistral-demo")

# Configure your API key.
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

# Use the chat complete method to create new chat.
chat_response = client.chat.complete(
    model="mistral-small-latest",
    messages=[
        {
            "role": "user",
            "content": "Who is the best French painter? Answer in one short sentence.",
        },
    ],
)
print(chat_response.choices[0].message)

Figyelmeztetés

Éles környezetekben használja a Mosaic AI Gateway-t vagy a Databricks titkos kódokat a biztonságos API-kulcskezeléshez hardkódolt értékek helyett.

Automatikus nyomkövetés letiltása

A Mistral automatikus nyomkövetése globálisan letiltható hívással mlflow.mistral.autolog(disable=True) vagy mlflow.autolog(disable=True).

Következő lépések

• A nyomkövetési fogalmak ismertetése – Ismerje meg, hogyan rögzíti és rendszerezi az MLflow a nyomkövetési adatokat
• Az alkalmazás hibakeresése és megfigyelése – A Trace felhasználói felületén elemezheti a Mistral-alkalmazás viselkedését
• Az alkalmazás minőségének értékelése – Minőségértékelés beállítása a Mistral-alapú alkalmazáshoz