Compartilhar via

Rastreamento de Gêmeos

Rastreamento do OpenAI por meio da caixa de diálogo automática

O Rastreamento do MLflow fornece capacidade de rastreamento automático para o Google Gemini. Ao habilitar o rastreamento automático para Gemini chamando a função mlflow.gemini.autolog, o MLflow capturará rastreamentos aninhados e os registrará no Experimento de MLflow ativo após a invocação do Gemini Python SDK.

import mlflow

mlflow.gemini.autolog()

O rastreamento do MLflow captura automaticamente as seguintes informações sobre chamadas Gemini:

  • Prompts e respostas de conclusão
  • Latências
  • Nome do modelo
  • Metadados adicionais, como temperature, max_tokens, se especificado.
  • Chamada de função se for retornada na resposta
  • Caso alguma exceção seja levantada.

Observação

Atualmente, a integração do MLflow Gemini dá suporte apenas ao rastreamento de chamadas síncronas para interações de texto. APIs assíncronas não são rastreadas e entradas completas podem não ser registradas para entradas multi modais.

Exemplo básico

import mlflow
import google.genai as genai
import os

# Turn on auto tracing for Gemini
mlflow.gemini.autolog()

# Set up MLflow tracking on Databricks
mlflow.set_tracking_uri("databricks")
mlflow.set_experiment("/Shared/gemini-demo")


# Configure the SDK with your API key.
client = genai.Client(api_key=os.environ["GEMINI_API_KEY"])

# Use the generate_content method to generate responses to your prompts.
response = client.models.generate_content(
    model="gemini-1.5-flash", contents="The opposite of hot is"
)

Interações de chat em múltiplos turnos

O MLflow dá suporte ao rastreamento de conversas de vários turnos com o Gemini:

import mlflow

mlflow.gemini.autolog()

chat = client.chats.create(model='gemini-1.5-flash')
response = chat.send_message("In one sentence, explain how a computer works to a young child.")
print(response.text)
response = chat.send_message("Okay, how about a more detailed explanation to a high schooler?")
print(response.text)

Inserções

O SDK do MLflow Tracing for Gemini dá suporte à API de inserções:

result = client.models.embed_content(model="text-embedding-004", contents="Hello world")

Desabilitar o rastreamento automático

O rastreamento automático do Gemini pode ser desabilitado globalmente chamando mlflow.gemini.autolog(disable=True) ou mlflow.autolog(disable=True).

Próximas etapas