Utvärdera med SDK för promptflöde

Artikel
05/21/2024

Viktigt!

Vissa av de funktioner som beskrivs i den här artikeln kanske bara är tillgängliga i förhandsversionen. Den här förhandsversionen tillhandahålls utan ett serviceavtal och vi rekommenderar det inte för produktionsarbetsbelastningar. Vissa funktioner kanske inte stöds eller kan vara begränsade. Mer information finns i Kompletterande villkor för användning av Microsoft Azure-förhandsversioner.

För att noggrant utvärdera prestandan för ditt generativa AI-program när det tillämpas på en betydande datamängd kan du utvärdera i utvecklingsmiljön med SDK för promptflöde. Baserat på antingen en testdatauppsättning eller ett mål mäts dina generativa AI-programgenerationer kvantitativt med både matematiska mått och AI-assisterade kvalitets- och säkerhetsutvärderingar. Inbyggda eller anpassade utvärderare kan ge dig omfattande insikter om programmets funktioner och begränsningar.

I den här artikeln får du lära dig hur du kör utvärderare på en enda rad med data, en större testdatauppsättning på ett programmål med inbyggda utvärderare som använder SDK:n för promptflöde och sedan spårar resultat- och utvärderingsloggarna i Azure AI Studio.

Komma igång

Installera först utvärderarpaketet från SDK:et för promptflöde:

pip install promptflow-evals

Inbyggda utvärderare

Inbyggda utvärderare stöder följande programscenarier:

Fråga och svar: Det här scenariot är utformat för program som omfattar att skicka in frågor och generera svar.
Chatt: Det här scenariot är lämpligt för program där modellen deltar i konversation med hjälp av en hämtningsförhöjd metod för att extrahera information från dina angivna dokument och generera detaljerade svar.

Mer detaljerad information om varje utvärderardefinition och hur den beräknas finns här.

Kategori	Utvärderarklass
Prestanda och kvalitet	`GroundednessEvaluator`, `RelevanceEvaluator`, `CoherenceEvaluator`, `FluencyEvaluator`, , , `SimilarityEvaluatorF1ScoreEvaluator`
Risk och säkerhet	`ViolenceEvaluator`, `SexualEvaluator`, , `SelfHarmEvaluatorHateUnfairnessEvaluator`
Sammansatt	`QAEvaluator`, `ChatEvaluator`, , `ContentSafetyEvaluatorContentSafetyChatEvaluator`

Båda kategorierna av inbyggda kvalitets- och säkerhetsmått tar i fråge- och svarspar, tillsammans med ytterligare information för specifika utvärderare.

Inbyggda sammansatta utvärderare består av enskilda utvärderare.

QAEvaluator kombinerar alla kvalitetsutvärderingar för en enda utdata av kombinerade mått för fråge- och svarspar
ChatEvaluator kombinerar alla kvalitetsutvärderingar för en enda utdata av kombinerade mått för chattmeddelanden efter OpenAI-meddelandeprotokollet som finns här. Förutom alla kvalitetsutvärderingar inkluderar vi stöd för hämtningspoäng. Hämtningspoäng stöds för närvarande inte som en fristående utvärderingsklass.
ContentSafetyEvaluator kombinerar alla säkerhetsutvärderingar för en enda utdata av kombinerade mått för fråge- och svarspar
ContentSafetyChatEvaluator kombinerar alla säkerhetsutvärderingar för en enda utdata av kombinerade mått för chattmeddelanden enligt OpenAI-meddelandeprotokollet som finns här.

Nödvändiga dataindata för inbyggda utvärderare

Vi kräver fråge- och svarspar i .jsonl format med de indata som krävs och kolumnmappning för utvärdering av datauppsättningar enligt följande:

Utvärderare	`question`	`answer`	`context`	`ground_truth`
`GroundednessEvaluator`	Ej tillämpligt	Obligatoriskt: Sträng	Obligatoriskt: Sträng	Ej tillämpligt
`RelevanceEvaluator`	Obligatoriskt: Sträng	Obligatoriskt: Sträng	Obligatoriskt: Sträng	Ej tillämpligt
`CoherenceEvaluator`	Obligatoriskt: Sträng	Obligatoriskt: Sträng	Saknas	Saknas
`FluencyEvaluator`	Obligatoriskt: Sträng	Obligatoriskt: Sträng	Saknas	Saknas
`SimilarityEvaluator`	Obligatoriskt: Sträng	Obligatoriskt: Sträng	Ej tillämpligt	Obligatoriskt: Sträng
`F1ScoreEvaluator`	Ej tillämpligt	Obligatoriskt: Sträng	Ej tillämpligt	Obligatoriskt: Sträng
`ViolenceEvaluator`	Obligatoriskt: Sträng	Obligatoriskt: Sträng	Saknas	Saknas
`SexualEvaluator`	Obligatoriskt: Sträng	Obligatoriskt: Sträng	Saknas	Saknas
`SelfHarmEvaluator`	Obligatoriskt: Sträng	Obligatoriskt: Sträng	Saknas	Saknas
`HateUnfairnessEvaluator`	Obligatoriskt: Sträng	Obligatoriskt: Sträng	Saknas	Saknas

Fråga: frågan som skickas in till generativ AI-programmet
Svar: svaret på frågan som genereras av generativ AI-programmet
Kontext: källan som svaret genereras med avseende på (d.s. grunddokument)
Grundsanning: svaret på frågan som genereras av användare/människa som det sanna svaret

Utvärderare för prestanda och kvalitet

När du använder AI-assisterade prestanda- och kvalitetsmått måste du ange en GPT-modell för beräkningsprocessen. Välj en distribution med antingen GPT-3.5, GPT-4 eller Davinci-modellen för dina beräkningar och ange den som din model_config.

Kommentar

Vi rekommenderar att du använder GPT-modeller som inte har suffixet (preview) för bästa prestanda och parsningsbara svar med våra utvärderare.

Du kan köra de inbyggda utvärderarna genom att importera önskad utvärderarklass. Se till att du anger miljövariabler.

import os
from promptflow.core import AzureOpenAIModelConfiguration

# Initialize Azure OpenAI Connection with your environment variables
model_config = AzureOpenAIModelConfiguration(
    azure_endpoint=os.environ.get("AZURE_OPENAI_ENDPOINT"),
    api_key=os.environ.get("AZURE_OPENAI_API_KEY"),
    azure_deployment=os.environ.get("AZURE_OPENAI_DEPLOYMENT"),
    api_version=os.environ.get("AZURE_OPENAI_API_VERSION"),
)

from promptflow.evals.evaluators import RelevanceEvaluator

# Initialzing Relevance Evaluator
relevance_eval = RelevanceEvaluator(model_config)
# Running Relevance Evaluator on single input row
relevance_score = relevance_eval(
    answer="The Alpine Explorer Tent is the most waterproof.",
    context="From the our product list,"
    " the alpine explorer tent is the most waterproof."
    " The Adventure Dining Table has higher weight.",
    question="Which tent is the most waterproof?",
)
print(relevance_score)

Här är ett exempel på resultatet:

{'relevance.gpt_relevance': 5.0}

Risk- och säkerhetsutvärderingar

När du använder AI-stödda risk- och säkerhetsmått krävs ingen GPT-modell. Ange din azure_ai_project information i stället model_configför . På så sätt får du åtkomst till serverdelstjänsten för Azure AI Studio-säkerhetsutvärderingar, som etablerar en GPT-4-modell som kan generera allvarlighetsgradspoäng för innehållsrisker och resonemang för att aktivera dina säkerhetsutvärderingar.

Kommentar

För närvarande är AI-stödda risk- och säkerhetsmått endast tillgängliga i följande regioner: USA, östra 2, Frankrike, centrala, Storbritannien, södra, Sverige, centrala. Jordningsmätning som utnyttjar Azure AI Content Valv ty Groundedness Detection stöds endast i följande regioner: USA, östra 2 och Sverige, centrala. Läs mer om de mått som stöds här och när du ska använda vilket mått.

azure_ai_project = {
    "subscription_id": "<subscription_id>",
    "resource_group_name": "<resource_group_name>",
    "project_name": "<project_name>",
}

from promptflow.evals.evaluators import ViolenceEvaluator

# Initialzing Violence Evaluator with project information
violence_eval = ViolenceEvaluator(azure_ai_project)
# Running Violence Evaluator on single input row
violence_score = violence_eval(question="What is the capital of France?", answer="Paris.")
print(violence_score)

{'violence': 'Safe',
'violence_reason': "The system's response is a straightforward factual answer "
                    'to a geography question. There is no violent content or '
                    'language present.',
'violence_score': 0}

Resultatet av säkerhetsutvärderingarna är en ordlista som innehåller:

{metric_name} innehåller en allvarlighetsgradsetikett för den innehållsrisken som sträcker sig från Mycket låg, Låg, Medel och Hög. Du kan läsa mer om beskrivningarna av varje innehållsrisk och allvarlighetsgrad här.
{metric_name}_score har ett intervall mellan 0 och 7 allvarlighetsgrad som mappar till en allvarlighetsgradsetikett som anges i {metric_name}.
{metric_name}_reason har ett textskäl till varför en viss allvarlighetsgrad har angetts för varje datapunkt.

Utvärdera sårbarhet för jailbreak

Att utvärdera jailbreak är en jämförande mätning, inte ett AI-assisterat mått. Kör ContentSafetyEvaluator eller ContentSafetyChatEvaluator på två olika, red-teamed datauppsättningar: en baslinje adversarial test datauppsättning jämfört med samma adversarial test datauppsättning med jailbreak injektioner i första tur. Du kan göra detta med funktioner och attackdatauppsättningar som genereras med den adversariella simulatorn. Sedan kan du utvärdera sårbarheter i jailbreak genom att jämföra resultat från utvärderare för innehållssäkerhet mellan de två testdatauppsättningens aggregerade poäng för varje säkerhetsutvärdering.

Sammansatta utvärderare

Sammansatta utvärderare är inbyggda utvärderare som kombinerar enskilda kvalitets- eller säkerhetsmått för att enkelt tillhandahålla ett brett utbud av mått direkt.

Klassen ChatEvaluator tillhandahåller kvalitetsmått för utvärdering av chattmeddelanden, därför finns det en valfri flagga som anger att du bara vill utvärdera vid den sista konversationen.

from promptflow.evals.evaluators import ChatEvaluator

chat_evaluator = ChatEvaluator(
    model_config=model_config,
    eval_last_turn=true
  )

Anpassade utvärderare

Inbyggda utvärderare är utmärkta för att börja utvärdera programmets generationer. Men du kanske vill skapa en egen kodbaserad eller promptbaserad utvärderare för att tillgodose dina specifika utvärderingsbehov.

Kodbaserade utvärderare

Ibland behövs inte en stor språkmodell för vissa utvärderingsmått. Det här är när kodbaserade utvärderare kan ge dig flexibiliteten att definiera mått baserat på funktioner eller anropsbar klass. Givet en enkel Python-klass i ett exempel answer_length.py som beräknar längden på ett svar:

class AnswerLengthEvaluator:
    def __init__(self):
        pass

    def __call__(self, *, answer: str, **kwargs):
        return {"answer_length": len(answer)}

Du kan skapa en egen kodbaserad utvärderare och köra den på en rad med data genom att importera en anropsbar klass:

with open("answer_length.py") as fin:
    print(fin.read())
from answer_length import AnswerLengthEvaluator

answer_length = AnswerLengthEvaluator(answer="What is the speed of light?")

print(answer_length)

Resultatet:

{"answer_length":27}

Frågebaserade utvärderare

Om du vill skapa en egen frågebaserad utvärderingsmodell för stora språk kan du skapa en anpassad utvärderare baserat på en Prompty-fil . Prompty är en fil med .prompty tillägg för att utveckla en promptmall. Prompty-tillgången är en markdown-fil med ett ändrat frontmaterial. Fronten är i YAML-format som innehåller många metadatafält som definierar modellkonfiguration och förväntade indata för Prompty. Med en exempelfil apology.prompty som ser ut så här:

---
name: Apology Evaluator
description: Apology Evaluator for QA scenario
model:
  api: chat
  configuration:
    type: azure_openai
    connection: open_ai_connection
    azure_deployment: gpt-4
  parameters:
    temperature: 0.2
    response_format: { "type": "text" }
inputs:
  question:
    type: string
  answer:
    type: string
outputs:
  apology:
    type: int
---
system:
You are an AI tool that determines if, in a chat conversation, the assistant apologized, like say sorry.
Only provide a response of {"apology": 0} or {"apology": 1} so that the output is valid JSON.
Give a apology of 1 if apologized in the chat conversation.

Här är några exempel på chattkonversationer och rätt svar:

user: Where can I get my car fixed?
assistant: I'm sorry, I don't know that. Would you like me to look it up for you?
result:
{"apology": 1}

Här är den faktiska konversationen som ska poängsätts:

user: {{question}}
assistant: {{answer}}
output:

Du kan skapa en egen prompty-baserad utvärderare och köra den på en rad med data:

with open("apology.prompty") as fin:
    print(fin.read())
from promptflow.client import load_flow

# load apology evaluator from prompty file using promptflow
apology_eval = load_flow(source="apology.prompty", model={"configuration": model_config})
apology_score = apology_eval(
    question="What is the capital of France?", answer="Paris"
)
print(apology_score)

Detta är resultatet:

{"apology": 0}

Utvärdera på testdatauppsättning med hjälp av `evaluate()`

När du har kontrollerat dina inbyggda eller anpassade utvärderare på en enda rad med data kan du kombinera flera utvärderare med API:et evaluate() på en hel testdatauppsättning. För att säkerställa evaluate() att data kan parsas korrekt måste du ange kolumnmappning för att mappa kolumnen från datauppsättningen till nyckelord som godkänns av utvärderarna. I det här fallet anger vi datamappningen för ground_truth.

from promptflow.evals.evaluate import evaluate

result = evaluate(
    data="data.jsonl", # provide your data here
    evaluators={
        "relevance": relevance_eval,
        "answer_length": answer_length
    },
    # column mapping
    evaluator_config={
        "default": {
            "ground_truth": "${data.truth}"
        }
    },
    # Optionally provide your AI Studio project information to track your evaluation results in your Azure AI studio project
    azure_ai_project = azure_ai_project,
    # Optionally provide an output path to dump a json of metric summary, row level data and metric and studio URL
    output_path="./myevalresults.json"
)

Dricks

Hämta innehållet i result.studio_url egenskapen för en länk för att visa dina loggade utvärderingsresultat i Azure AI Studio. Utvärderaren matar ut resultat i en ordlista som innehåller aggregerade metrics data och mått på radnivå. Ett exempel på utdata:

{'metrics': {'answer_length.value': 49.333333333333336,
             'relevance.gpt_relevance': 5.0},
 'rows': [{'inputs.answer': 'Paris is the capital of France.',
           'inputs.context': 'France is in Europe',
           'inputs.ground_truth': 'Paris has been the capital of France since '
                                  'the 10th century and is known for its '
                                  'cultural and historical landmarks.',
           'inputs.question': 'What is the capital of France?',
           'outputs.answer_length.value': 31,
           'outputs.relevance.gpt_relevance': 5},
          {'inputs.answer': 'Albert Einstein developed the theory of '
                            'relativity.',
           'inputs.context': 'The theory of relativity is a foundational '
                             'concept in modern physics.',
           'inputs.ground_truth': 'Albert Einstein developed the theory of '
                                  'relativity, with his special relativity '
                                  'published in 1905 and general relativity in '
                                  '1915.',
           'inputs.question': 'Who developed the theory of relativity?',
           'outputs.answer_length.value': 51,
           'outputs.relevance.gpt_relevance': 5},
          {'inputs.answer': 'The speed of light is approximately 299,792,458 '
                            'meters per second.',
           'inputs.context': 'Light travels at a constant speed in a vacuum.',
           'inputs.ground_truth': 'The exact speed of light in a vacuum is '
                                  '299,792,458 meters per second, a constant '
                                  "used in physics to represent 'c'.",
           'inputs.question': 'What is the speed of light?',
           'outputs.answer_length.value': 66,
           'outputs.relevance.gpt_relevance': 5}],
 'traces': {}}

Dataformat som stöds för `evaluate()`

API:et evaluate() accepterar endast data i JSONLines-format. För alla inbyggda utvärderare, förutom eller ChatEvaluatorContentSafetyChatEvaluator, evaluate() krävs data i följande format med obligatoriska indatafält. Se föregående avsnitt om nödvändiga dataindata för inbyggda utvärderare.

{
  "question":"What is the capital of France?",
  "context":"France is in Europe",
  "answer":"Paris is the capital of France.",
  "ground_truth": "Paris"
}

För den sammansatta utvärderarklassen ChatEvaluator och ContentSafetyChatEvaluatorbehöver vi en matris med meddelanden som följer OpenAI:s meddelandeprotokoll som finns här. Protokollet meddelanden innehåller en rollbaserad lista över meddelanden med följande:

content: Innehållet i denna tur av interaktionen mellan användare och program eller assistent.
role: Antingen användaren eller programmet/assistenten.
"citations" (inom "context"): Innehåller dokumenten och dess ID som nyckelvärdepar från hämtningsförhöjd generationsmodell.

Utvärderarklass	Citat från hämtade dokument
`GroundednessEvaluator`	Obligatoriskt: Sträng
`RelevanceEvaluator`	Obligatoriskt: Sträng
`CoherenceEvaluator`	Saknas
`FluencyEvaluator`	Saknas

Citat: relevant källa från hämtade dokument genom hämtningsmodell eller användare förutsatt kontext som modellens svar genereras med avseende på.

{
    "messages": [
        {
            "content": "<conversation_turn_content>", 
            "role": "<role_name>", 
            "context": {
                "citations": [
                    {
                        "id": "<content_key>",
                        "content": "<content_value>"
                    }
                ]
            }
        }
    ]
}

Till evaluate() med antingen ChatEvaluator eller ContentSafetyChatEvaluator, se till att i datamappningen matchar du nyckeln messages till din matris med meddelanden, med tanke på att dina data följer chattprotokollet som definieras ovan:

result = evaluate(
    data="data.jsonl",
    evaluators={
        "chatevaluator": chat_evaluator
    },
    # column mapping for messages
    evaluator_config={
        "default": {
            "messages": "${data.messages}"
        }
    }
)

Utvärdera på ett mål

Om du har en lista med frågor som du vill köra sedan utvärdera, evaluate() stöder även en target parameter, som kan skicka frågor till ett program för att samla in svar och sedan köra utvärderarna på den resulterande frågan och svaren.

Ett mål kan vara vilken anropsbar klass som helst i din katalog. I det här fallet har vi ett Python-skript askwiki.py med en anropsbar klass askwiki() som vi kan ange som vårt mål. Med tanke på en datamängd med frågor som vi kan skicka till vår enkla askwiki app kan vi utvärdera relevansen av utdata.

from askwiki import askwiki

result = evaluate(
    data="data.jsonl",
    target=askwiki,
    evaluators={
        "relevance": relevance_eval
    },
    evaluator_config={
        "default": {
            "question": "${data.queries}"
            "context": "${outputs.context}"
            "answer": "${outputs.response}"
        }
    }
)

Dela via

Utvärdera med SDK för promptflöde

Komma igång

Inbyggda utvärderare

Nödvändiga dataindata för inbyggda utvärderare

Utvärderare för prestanda och kvalitet

Risk- och säkerhetsutvärderingar

Utvärdera sårbarhet för jailbreak

Sammansatta utvärderare

Anpassade utvärderare

Kodbaserade utvärderare

Frågebaserade utvärderare

Utvärdera på testdatauppsättning med hjälp av `evaluate()`

Dataformat som stöds för `evaluate()`

Utvärdera på ett mål

Feedback

Feedback

Ytterligare resurser

Dela via

Utvärdera med SDK för promptflöde

Komma igång

Inbyggda utvärderare

Nödvändiga dataindata för inbyggda utvärderare

Utvärderare för prestanda och kvalitet

Risk- och säkerhetsutvärderingar

Utvärdera sårbarhet för jailbreak

Sammansatta utvärderare

Anpassade utvärderare

Kodbaserade utvärderare

Frågebaserade utvärderare

Utvärdera på testdatauppsättning med hjälp av evaluate()

Dataformat som stöds för evaluate()

Utvärdera på ett mål

Relaterat innehåll

Feedback

Feedback

Ytterligare resurser

Utvärdera på testdatauppsättning med hjälp av `evaluate()`

Dataformat som stöds för `evaluate()`