Partilhar via

Traçando Gêmeos

Rastreamento da OpenAI através do autolog

O MLflow Tracing fornece a capacidade de rastreamento automático para o Google Gemini. Ao ativar o rastreamento automático para Gemini chamando a função mlflow.gemini.autolog, o MLflow capturará traços aninhados e, mediante a invocação do Gemini Python SDK, registará estes traços na Experiência MLflow ativa.

import mlflow

mlflow.gemini.autolog()

O rastreamento MLflow captura automaticamente as seguintes informações sobre chamadas Gemini:

  • Prompts e respostas de conclusão
  • Latências
  • Nome do modelo
  • Metadados adicionais, como temperature, max_tokens, se especificado.
  • Chamada de função se for retornada na resposta
  • Qualquer exceção, se for levantada

Observação

Atualmente, a integração do MLflow Gemini suporta apenas o rastreamento de chamadas síncronas para interações de texto. As APIs assíncronas não são rastreadas e as entradas completas podem não ser gravadas para entradas multimodais.

Exemplo básico

import mlflow
import google.genai as genai
import os

# Turn on auto tracing for Gemini
mlflow.gemini.autolog()

# Set up MLflow tracking on Databricks
mlflow.set_tracking_uri("databricks")
mlflow.set_experiment("/Shared/gemini-demo")


# Configure the SDK with your API key.
client = genai.Client(api_key=os.environ["GEMINI_API_KEY"])

# Use the generate_content method to generate responses to your prompts.
response = client.models.generate_content(
    model="gemini-1.5-flash", contents="The opposite of hot is"
)

Interações de bate-papo em vários turnos

O MLflow suporta rastrear discussões de múltiplas interações com Gemini.

import mlflow

mlflow.gemini.autolog()

chat = client.chats.create(model='gemini-1.5-flash')
response = chat.send_message("In one sentence, explain how a computer works to a young child.")
print(response.text)
response = chat.send_message("Okay, how about a more detailed explanation to a high schooler?")
print(response.text)

Incorporações

O MLflow Tracing for Gemini SDK suporta incorporação de API:

result = client.models.embed_content(model="text-embedding-004", contents="Hello world")

Desativar o rastreamento automático

O rastreamento automático para Gemini pode ser desativado globalmente chamando mlflow.gemini.autolog(disable=True) ou mlflow.autolog(disable=True).

Próximas Etapas