Bagikan melalui

Pelacakan Gemini

Pelacakan OpenAI melalui autolog

MLflow Tracing menyediakan kemampuan pelacakan otomatis untuk Google Gemini. Dengan mengaktifkan pelacakan otomatis untuk Gemini dengan memanggil mlflow.gemini.autolog fungsi , MLflow akan menangkap jejak berlapis dan mencatatnya ke Eksperimen MLflow aktif setelah pemanggilan Gemini Python SDK.

import mlflow

mlflow.gemini.autolog()

Pelacakan MLflow secara otomatis mengambil informasi berikut tentang panggilan Gemini:

  • Petunjuk dan tanggapan penyelesaian
  • Latency
  • Nama model
  • Metadata tambahan seperti temperature, max_tokens, jika ditentukan.
  • Pemanggilan fungsi jika dikembalikan dalam respons
  • Setiap pengecualian jika terjadi

Nota

Saat ini, integrasi MLflow Gemini hanya mendukung pelacakan panggilan sinkron untuk interaksi teks. API asinkron tidak dilacak dan input lengkap mungkin tidak direkam untuk input multi-modal.

Contoh Dasar

import mlflow
import google.genai as genai
import os

# Turn on auto tracing for Gemini
mlflow.gemini.autolog()

# Set up MLflow tracking on Databricks
mlflow.set_tracking_uri("databricks")
mlflow.set_experiment("/Shared/gemini-demo")


# Configure the SDK with your API key.
client = genai.Client(api_key=os.environ["GEMINI_API_KEY"])

# Use the generate_content method to generate responses to your prompts.
response = client.models.generate_content(
    model="gemini-1.5-flash", contents="The opposite of hot is"
)

Interaksi obrolan bergiliran

MLflow mendukung pelacakan percakapan multi-giliran dengan Gemini.

import mlflow

mlflow.gemini.autolog()

chat = client.chats.create(model='gemini-1.5-flash')
response = chat.send_message("In one sentence, explain how a computer works to a young child.")
print(response.text)
response = chat.send_message("Okay, how about a more detailed explanation to a high schooler?")
print(response.text)

Pemadatan

Penelusuran MLflow untuk Gemini SDK mendukung API penyematan:

result = client.models.embed_content(model="text-embedding-004", contents="Hello world")

Menonaktifkan pelacakan otomatis

Pelacakan otomatis untuk Gemini dapat dinonaktifkan secara global dengan memanggil mlflow.gemini.autolog(disable=True) atau mlflow.autolog(disable=True).

Langkah Selanjutnya