Erstellen und Bearbeiten von Prompts

Von Bedeutung

Dieses Feature befindet sich in der Betaversion.

Auf dieser Seite erfahren Sie, wie Sie neue Eingabeaufforderungen erstellen und deren Versionen in der MLflow-Eingabeaufforderungsregistrierung mithilfe des MLflow Python SDK verwalten. Es enthält Anweisungen zur Verwendung des MLflow Python SDK und der Databricks MLflow UI. Der gesamte Code auf dieser Seite ist im Beispielnotizbuch enthalten.

Voraussetzungen

  1. Installieren von MLflow und erforderlichen Paketen

    pip install --upgrade "mlflow[databricks]>=3.14.0" openai
    
  2. Erstellen Sie ein MLflow-Experiment, indem Sie die Schnellstartanleitung zum Einrichten Ihrer Umgebung ausführen.

  3. Erstellen oder identifizieren Sie ein Unity-Katalogschema zum Speichern von Eingabeaufforderungen. Sie müssen über die CREATE FUNCTION, EXECUTE und MANAGE Berechtigungen im Unity-Katalogschema verfügen.

Schritt 1. Erstellen einer neuen Eingabeaufforderung

Sie können Eingabeaufforderungen in der Databricks MLflow UI oder programmgesteuert mithilfe des MLflow Python SDK erstellen.

Verwenden der MLflow-Benutzeroberfläche von Databricks

So erstellen Sie eine Eingabeaufforderung in der Benutzeroberfläche:

  1. Navigieren Sie zu Ihrem MLflow-Experiment.

  2. Klicken Sie auf die Registerkarte " Eingabeaufforderungen ".

    Seite

  3. Klicken Sie auf die Schaltfläche . Ein Dialogfeld wird angezeigt.

    Dialogfeld

  4. Wenn Sie noch kein Schema für dieses Experiment ausgewählt haben, enthält das Dialogfeld ein Zielschemafeld . So wählen Sie ein Schema aus:

    1. Klicken Sie neben dem Zielschemafeld auf "Auswählen ", um die Schemaauswahl zu öffnen.
    2. Wählen Sie im Auswahlfeld das gewünschte Schema aus und klicken Sie auf Bestätigen. Sie müssen über die folgenden Berechtigungen für das Schema verfügen: CREATE FUNCTION, , EXECUTEund MANAGE.
  5. Geben Sie im Feld "Name " einen Namen für die Eingabeaufforderung ein. Eingabeaufforderungsnamen können nur Buchstaben, Zahlen, Bindestriche, Unterstriche und Punkte enthalten.

  6. Wählen Sie für den Eingabeaufforderungstyp eine der folgenden Optionen aus:

    • Text: Eine einzelne Textvorlage. Verwenden Sie dies für Prompts im Completion-Stil.
    • Chat: Eine Liste der rollenbasierten Nachrichten (z. B system . und user). Verwenden Sie dies für Prompts im Chat-Stil, die auf Konversationsmodelle ausgerichtet sind.
  7. Geben Sie im Feld "Eingabeaufforderung " Ihren Eingabeaufforderungsinhalt ein. Verwenden Sie {{variable_name}} die Syntax, um Variablen zu definieren, die Sie zur Laufzeit ausfüllen.

  8. (Optional) Geben Sie im Feld "Commit-Nachricht" eine kurze Beschreibung dieser Version ein. Commit-Nachrichten werden zusammen mit der Prompt-Version gespeichert und helfen Ihnen, Änderungen versionsübergreifend nachzuverfolgen.

  9. Klicke auf Erstellen.

Die Eingabeaufforderung wird auf der Benutzeroberfläche angezeigt:

Registrierte Eingabeaufforderung in der Benutzeroberfläche

Verwenden des Python SDK

  1. Verknüpfen Sie Ihr MLflow-Experiment mit einem Standard-Abfrage-Registry-Standort, indem Sie ein Experiment-Tag mit mlflow.set_experiment_tags setzen. Auf diese Weise können SDKs und Tools Ihr Unity Catalog-Eingabeaufforderungsschema automatisch ableiten.

    Verwenden Sie das mlflow.promptRegistryLocation Tag mit dem Wert catalog.schema:

    import mlflow
    
    # Link the current MLflow experiment to a UC schema for prompts
    mlflow.set_experiment_tags({
        "mlflow.promptRegistryLocation": "main.default"
    })
    
  2. Erstellen von Eingabeaufforderungen mit mlflow.genai.register_prompt(). Eingabeaufforderungen nutzen die doppelte Klammer-Syntax ({{variable}}) für Vorlagen-Variablen.

    # Replace with a Unity Catalog schema where you have CREATE FUNCTION, EXECUTE, and MANAGE privileges
    uc_schema = "main.default"
    # This table is created in the UC schema specified in the previous line
    prompt_name = "summarization_prompt"
    
    # Define the prompt template with variables
    initial_template = """\
     Summarize content you are provided with in {{num_sentences}} sentences.
    
    Content: {{content}}
    """
    
    # Register a new prompt
    prompt = mlflow.genai.register_prompt(
        name=f"{uc_schema}.{prompt_name}",
        template=initial_template,
        # all following parameters are optional
        commit_message="Initial version of summarization prompt",
        tags={
             "author": "data-science-team@company.com",
             "use_case": "document_summarization",
             "task": "summarization",
             "language": "en",
             "model_compatibility": "gpt-4"
         }
     )
    
    print(f"Created prompt '{prompt.name}' (version {prompt.version})")
    

Schritt 2: Verwenden der Eingabeaufforderung in Ihrer Anwendung

Die folgenden Schritte erstellen eine einfache Anwendung, die Ihre Eingabeaufforderungsvorlage mit dem Python SDK verwendet.

Laden Sie die Eingabeaufforderung aus der Registrierung.

# Load a specific version using URI syntax
prompt = mlflow.genai.load_prompt(name_or_uri=f"prompts:/{uc_schema}.{prompt_name}/1")

# Alternative syntax without URI
prompt = mlflow.genai.load_prompt(name_or_uri=f"{uc_schema}.{prompt_name}", version="1")

Verwenden Sie die Eingabeaufforderung in Ihrer Anwendung

  1. Initialisieren Sie einen OpenAI-Client, um eine Verbindung mit von Databricks gehosteten LLMs oder LLMs herzustellen, die von OpenAI gehostet werden.

    Von Databricks gehostete LLMs

    Verwenden Sie databricks-openai, um einen OpenAI-Client zu erhalten, der eine Verbindung zu von Databricks gehosteten LLMs herstellt. Wählen Sie ein Modell aus den verfügbaren Foundation-Modellen aus.

    import mlflow
    from databricks_openai import DatabricksOpenAI
    from mlflow.entities.trace_location import UnityCatalog
    
    # Enable MLflow's autologging to instrument your application with Tracing
    mlflow.openai.autolog()
    
    # Set up MLflow tracking to Databricks
    mlflow.set_tracking_uri("databricks")
    mlflow.set_experiment(
        experiment_name="/Shared/docs-demo",
        trace_location=UnityCatalog(
            catalog_name="<UC_CATALOG_NAME>",
            schema_name="<UC_SCHEMA_NAME>",
            table_prefix="<UC_TABLE_PREFIX>",
        ),
    )
    
    # Create an OpenAI client that is connected to Databricks-hosted LLMs
    client = DatabricksOpenAI()
    
    # Select an LLM
    model_name = "databricks-claude-sonnet-4-6"
    

    OpenAI-gehostete LLMs

    Verwenden Sie das native OpenAI SDK, um eine Verbindung mit in OpenAI gehosteten Modellen herzustellen. Wählen Sie ein Modell aus den verfügbaren OpenAI-Modellen aus.

    import mlflow
    import os
    import openai
    from mlflow.entities.trace_location import UnityCatalog
    
    # Ensure your OPENAI_API_KEY is set in your environment
    # os.environ["OPENAI_API_KEY"] = "<YOUR_API_KEY>" # Uncomment and set if not globally configured
    
    # Enable auto-tracing for OpenAI
    mlflow.openai.autolog()
    
    # Set up MLflow tracking to Databricks
    mlflow.set_tracking_uri("databricks")
    mlflow.set_experiment(
        experiment_name="/Shared/docs-demo",
        trace_location=UnityCatalog(
            catalog_name="<UC_CATALOG_NAME>",
            schema_name="<UC_SCHEMA_NAME>",
            table_prefix="<UC_TABLE_PREFIX>",
        ),
    )
    
    # Create an OpenAI client connected to OpenAI SDKs
    client = openai.OpenAI()
    
    # Select an LLM
    model_name = "gpt-4o-mini"
    
  2. Definieren Sie Ihre Anwendung:

    # Use the trace decorator to capture the application's entry point
    @mlflow.trace
    def my_app(content: str, num_sentences: int):
        # Format with variables
        formatted_prompt = prompt.format(
            content=content,
            num_sentences=num_sentences
        )
    
        response = client.chat.completions.create(
            model=model_name,  # This example uses a Databricks hosted LLM. You can replace this with any AI Gateway or Model Serving endpoint, or with a valid OpenAI model like gpt-4o.
            messages=[
                {
                    "role": "system",
                    "content": "You are a helpful assistant.",
                },
                {
                    "role": "user",
                    "content": formatted_prompt,
                },
            ],
        )
        return response.choices[0].message.content
    
    result = my_app(content="This guide shows you how to integrate prompts from the MLflow Prompt Registry into your agents. You'll learn to load prompts, format them with dynamic data, and ensure complete lineage by linking prompt versions to your MLflow Models.", num_sentences=1)
    print(result)
    

Schritt 3. Eingabeaufforderung bearbeiten

Versionen von Eingabeaufforderungen sind nach ihrer Erstellung nicht mehr veränderbar. Zum Bearbeiten einer Eingabeaufforderung müssen Sie eine neue Version erstellen. Diese Git-ähnliche Versionsverwaltung verwaltet den vollständigen Verlauf und ermöglicht Rollbacks.

Verwenden der MLflow-Benutzeroberfläche von Databricks

So erstellen Sie eine neue Version:

  1. Klicken Sie auf der Registerkarte "Eingabeaufforderungen" neben der Eingabeaufforderung, die Sie bearbeiten möchten, auf die Schaltfläche

    Vorhandene Eingabeaufforderung bearbeiten.

  2. Geben Sie Ihre Eingabeaufforderung ein, und klicken Sie auf "Speichern".

Vergleichen Sie Prompt-Vorlagen (Textverschiedenheit)

Zum Vergleich des Vorlagentextes zwischen den Prompt-Versionen:

  1. Klicken Sie auf der Registerkarte " Eingabeaufforderungen " auf den Namen der Eingabeaufforderung.

    Eingabeaufforderungsname in Tabelle.

  2. Klicken Sie oben links auf "Vergleichen ", und wählen Sie die zu vergleichenden Versionen aus.

    Bildschirm

Vergleichen Sie die Qualität von Prompts zwischen Evaluierungsdurchläufen

Die Schaltfläche Vergleich zeigt einen Textunterschied zwischen Vorlagen. Um zu vergleichen, welche Version die besseren Ergebnisse liefert, führen Sie für beide Versionen Auswertungen mit demselben Datensatz und denselben Gutachtern durch und verwenden Sie anschließend den Vergleich der Evaluierungsläufe. Siehe Prompt-Versionen auswerten und Auswertungsläufe vergleichen.

Verwenden des Python SDK

Erstellen Sie eine neue Version, indem Sie mlflow.genai.register_prompt() mit einem bestehenden Eingabeaufforderungsnamen aufrufen:

import mlflow

# Define the improved template
new_template = """\
You are an expert summarizer. Condense the following content into exactly {{ num_sentences }} clear and informative sentences that capture the key points.

Content: {{content}}

Your summary should:
- Contain exactly {{num_sentences}} sentences
- Include only the most important information
- Be written in a neutral, objective tone
- Maintain the same level of formality as the original text
"""

# Register a new version
updated_prompt = mlflow.genai.register_prompt(
    name=f"{uc_schema}.{prompt_name}",
    template=new_template,
    commit_message="Added detailed instructions for better output quality",
    tags={
        "author": "data-science-team@company.com",
        "improvement": "Added specific guidelines for summary quality"
    }
)

print(f"Created version {updated_prompt.version} of '{updated_prompt.name}'")

Schritt 4. Verwenden Sie die neue Eingabeaufforderung

Der folgende Code zeigt, wie die Aufforderung verwendet wird.

# Load a specific version using URI syntax
prompt = mlflow.genai.load_prompt(name_or_uri=f"prompts:/{uc_schema}.{prompt_name}/2")

# Or load from specific version
prompt = mlflow.genai.load_prompt(name_or_uri=f"{uc_schema}.{prompt_name}", version="2")

Schritt 5. Eingabeaufforderungen suchen und entdecken

Um Eingabeaufforderungen in Ihrem Katalogschema zu finden:

# REQUIRED format for Unity Catalog - specify catalog and schema
results = mlflow.genai.search_prompts("catalog = 'main' AND schema = 'default'")

# Using variables for your schema
catalog_name = uc_schema.split('.')[0]  # 'main'
schema_name = uc_schema.split('.')[1]   # 'default'
results = mlflow.genai.search_prompts(f"catalog = '{catalog_name}' AND schema = '{schema_name}'")

# Limit results
results = mlflow.genai.search_prompts(
    filter_string=f"catalog = '{catalog_name}' AND schema = '{schema_name}'",
    max_results=50
)

Beispielnotizbuch

Erstellen und bearbeiten von Eingabeaufforderungsbeispielen im Notizbuch

Notebook abrufen

Weitere Ressourcen