Mengevaluasi dengan Azure AI Evaluation SDK

Penting

Beberapa fitur yang dijelaskan dalam artikel ini mungkin hanya tersedia dalam pratinjau. Pratinjau ini disediakan tanpa perjanjian tingkat layanan, dan kami tidak merekomendasikannya untuk beban kerja produksi. Fitur tertentu mungkin tidak didukung atau mungkin memiliki kemampuan terbatas. Untuk mengetahui informasi selengkapnya, lihat Ketentuan Penggunaan Tambahan untuk Pratinjau Microsoft Azure.

Catatan

Evaluasi dengan alur perintah telah dihentikan dan diganti dengan Azure AI Evaluate.

Untuk menilai performa aplikasi AI generatif Anda secara menyeluruh saat diterapkan ke himpunan data yang substansial, Anda dapat mengevaluasi di lingkungan pengembangan Anda dengan SDK evaluasi Azure AI. Mengingat himpunan data pengujian atau target, pembuatan aplikasi AI generatif Anda diukur secara kuantitatif dengan metrik berbasis matematika dan evaluator kualitas dan keamanan yang dibantu AI. Evaluator bawaan atau kustom dapat memberi Anda wawasan komprehensif tentang kemampuan dan batasan aplikasi.

Dalam artikel ini, Anda mempelajari cara menjalankan evaluator pada satu baris data, himpunan data pengujian yang lebih besar pada target aplikasi dengan evaluator bawaan menggunakan SDK evaluasi Azure AI lalu melacak hasil dan log evaluasi di Azure AI Studio.

Memulai

Pertama-tama instal paket evaluator dari SDK evaluasi Azure AI:

pip install azure-ai-evaluation

Evaluator bawaan

Evaluator bawaan mendukung skenario aplikasi berikut:

• Kueri dan respons: Skenario ini dirancang untuk aplikasi yang melibatkan pengiriman dalam kueri dan menghasilkan respons.
• Pengambilan pembuatan tambahan: Skenario ini cocok untuk aplikasi di mana model terlibat dalam pembuatan menggunakan pendekatan pengambilan-tambahan untuk mengekstrak informasi dari dokumen yang Anda berikan dan menghasilkan respons terperinci.

Untuk informasi lebih mendalam tentang setiap definisi evaluator dan cara menghitungnya, lihat Metrik evaluasi dan pemantauan untuk AI generatif.

Kategori	Kelas evaluator
Performa dan kualitas (dibantu AI)	GroundednessEvaluator, , RelevanceEvaluatorCoherenceEvaluator, , FluencyEvaluator,SimilarityEvaluator
Performa dan kualitas (ML tradisional)	F1ScoreEvaluator, , RougeScoreEvaluatorGleuScoreEvaluator, , BleuScoreEvaluator,MeteorScoreEvaluator
Risiko dan keselamatan (dibantu AI)	ViolenceEvaluator, , SexualEvaluatorSelfHarmEvaluator, HateUnfairnessEvaluator, , IndirectAttackEvaluator,ProtectedMaterialEvaluator
Komposit	QAEvaluator, ContentSafetyEvaluator

Metrik kualitas dan keamanan bawaan mengambil pasangan kueri dan respons, bersama dengan informasi tambahan untuk evaluator tertentu.

Tip

Untuk informasi selengkapnya tentang input dan output, lihat dokumentasi referensi Azure Python.

Persyaratan data untuk evaluator bawaan

Kami memerlukan pasangan kueri dan respons dalam .jsonl format dengan input yang diperlukan, dan pemetaan kolom untuk mengevaluasi himpunan data, sebagai berikut:

Evaluator	query	response	context	ground_truth
GroundednessEvaluator	T/A	Diperlukan: String	Diperlukan: String	T/A
RelevanceEvaluator	Diperlukan: String	Diperlukan: String	Diperlukan: String	T/A
CoherenceEvaluator	Diperlukan: String	Diperlukan: String	T/A	T/A
FluencyEvaluator	Diperlukan: String	Diperlukan: String	T/A	T/A
RougeScoreEvaluator	T/A	Diperlukan: String	T/A	Diperlukan: String
GleuScoreEvaluator	T/A	Diperlukan: String	T/A	Diperlukan: String
BleuScoreEvaluator	T/A	Diperlukan: String	T/A	Diperlukan: String
MeteorScoreEvaluator	T/A	Diperlukan: String	T/A	Diperlukan: String
SimilarityEvaluator	Diperlukan: String	Diperlukan: String	T/A	Diperlukan: String
F1ScoreEvaluator	T/A	Diperlukan: String	T/A	Diperlukan: String
ViolenceEvaluator	Diperlukan: String	Diperlukan: String	T/A	T/A
SexualEvaluator	Diperlukan: String	Diperlukan: String	T/A	T/A
SelfHarmEvaluator	Diperlukan: String	Diperlukan: String	T/A	T/A
HateUnfairnessEvaluator	Diperlukan: String	Diperlukan: String	T/A	T/A
IndirectAttackEvaluator	Diperlukan: String	Diperlukan: String	Diperlukan: String	T/A
ProtectedMaterialEvaluator	Diperlukan: String	Diperlukan: String	T/A	T/A

• Kueri: kueri yang dikirim ke aplikasi AI generatif
• Respons: respons terhadap kueri yang dihasilkan oleh aplikasi AI generatif
• Konteks: sumber yang dihasilkan respons sehubungan dengan (yaitu, dokumen dasar)
• Kebenaran dasar: respons terhadap kueri yang dihasilkan oleh pengguna/manusia sebagai jawaban sebenarnya

Evaluator performa dan kualitas

Saat menggunakan metrik performa dan kualitas yang dibantu AI, Anda harus menentukan model GPT untuk proses penghitungan. Pilih penyebaran dengan GPT-3.5, GPT-4, atau model Davinci untuk perhitungan Anda dan tetapkan sebagai .model_config Kami mendukung skema konfigurasi model Azure OpenAI atau OpenAI.

Catatan

Sebaiknya gunakan model GPT yang tidak memiliki (preview) akhiran untuk performa terbaik dan respons yang dapat diurai dengan evaluator kami.

Anda dapat menjalankan evaluator bawaan dengan mengimpor kelas evaluator yang diinginkan. Pastikan Anda mengatur variabel lingkungan Anda.

import os

# Initialize Azure OpenAI Connection with your environment variables
model_config = {
    "azure_endpoint": os.environ.get("AZURE_OPENAI_ENDPOINT"),
    "api_key": os.environ.get("AZURE_OPENAI_API_KEY"),
    "azure_deployment": os.environ.get("AZURE_OPENAI_DEPLOYMENT"),
    "api_version": os.environ.get("AZURE_OPENAI_API_VERSION"),
}

from azure.ai.evaluation import RelevanceEvaluator

# Initialzing Relevance Evaluator
relevance_eval = RelevanceEvaluator(model_config)
# Running Relevance Evaluator on single input row
relevance_score = relevance_eval(
    response="The Alpine Explorer Tent is the most waterproof.",
    context="From the our product list,"
    " the alpine explorer tent is the most waterproof."
    " The Adventure Dining Table has higher weight.",
    query="Which tent is the most waterproof?",
)
print(relevance_score)

Berikut contoh hasilnya:

{'relevance.gpt_relevance': 5.0}

Evaluator risiko dan keselamatan

Saat Anda menggunakan metrik risiko dan keamanan yang dibantu AI, model GPT tidak diperlukan. Alih-alih model_config, berikan informasi Anda azure_ai_project . Ini mengakses layanan back-end evaluasi keamanan Azure AI Studio, yang menyediakan model GPT-4 yang dapat menghasilkan skor tingkat keparahan risiko konten dan penalaran untuk memungkinkan evaluator keamanan Anda.

Catatan

Saat ini metrik risiko dan keselamatan yang dibantu AI hanya tersedia di wilayah berikut: US Timur 2, Prancis Tengah, UK Selatan, Swedia Tengah. Pengukuran groundedness yang memanfaatkan Deteksi Groundedness Keselamatan Konten Azure AI hanya didukung di wilayah berikut: US Timur 2 dan Swedia Tengah. Pengukuran Bahan Terproteksi hanya didukung di US Timur 2. Baca selengkapnya tentang metrik yang didukung di sini dan kapan menggunakan metrik mana.

azure_ai_project = {
    "subscription_id": "<subscription_id>",
    "resource_group_name": "<resource_group_name>",
    "project_name": "<project_name>",
}

from azure.ai.evaluation import ViolenceEvaluator

# Initializing Violence Evaluator with project information
violence_eval = ViolenceEvaluator(azure_ai_project)
# Running Violence Evaluator on single input row
violence_score = violence_eval(query="What is the capital of France?", answer="Paris.")
print(violence_score)

{'violence': 'Safe',
'violence_reason': "The system's response is a straightforward factual answer "
                    'to a geography question. There is no violent content or '
                    'language present.',
'violence_score': 0}

Hasil dari evaluator keamanan konten adalah kamus yang berisi:

• {metric_name} menyediakan label tingkat keparahan untuk risiko konten tersebut mulai dari Sangat rendah, Rendah, Sedang, dan Tinggi. Anda dapat membaca selengkapnya tentang deskripsi setiap risiko konten dan skala tingkat keparahan di sini.
• {metric_name}_score memiliki rentang antara tingkat keparahan 0 dan 7 yang memetakan ke label tingkat keparahan yang diberikan dalam {metric_name}.
• {metric_name}_reason memiliki penalaran teks mengapa skor tingkat keparahan tertentu diberikan untuk setiap poin data.

Mengevaluasi kerentanan jailbreak serangan langsung dan tidak langsung

Kami mendukung evaluasi kerentanan terhadap jenis serangan jailbreak berikut:

• Jailbreak serangan langsung (juga dikenal sebagai UPIA atau User Prompt Injected Attack) menyuntikkan perintah dalam pergantian peran pengguna percakapan atau kueri ke aplikasi AI generatif.
• Jailbreak serangan tidak langsung (juga dikenal sebagai XPIA atau serangan yang disuntikkan permintaan lintas domain) menyuntikkan perintah dalam dokumen yang dikembalikan atau konteks kueri pengguna ke aplikasi AI generatif.

Mengevaluasi serangan langsung adalah pengukuran komparatif menggunakan evaluator keamanan konten sebagai kontrol. Ini bukan metrik yang dibantu AI sendiri. Jalankan ContentSafetyEvaluator pada dua himpunan data beregu merah yang berbeda:

• Himpunan data pengujian adversarial garis besar.
• Himpunan data pengujian adversarial dengan injeksi jailbreak serangan langsung pada giliran pertama.

Anda dapat melakukan ini dengan fungsionalitas dan himpunan data serangan yang dihasilkan dengan simulator serangan langsung dengan benih pengacakan yang sama. Kemudian Anda dapat mengevaluasi kerentanan jailbreak dengan membandingkan hasil dari evaluator keamanan konten antara dua skor agregat himpunan data pengujian untuk setiap evaluator keselamatan. Cacat jailbreak serangan langsung terdeteksi ketika ada respons bahaya konten yang terdeteksi dalam himpunan data serangan langsung kedua yang disuntikkan ketika tidak ada atau tingkat keparahan yang lebih rendah yang terdeteksi dalam himpunan data kontrol pertama.

Mengevaluasi serangan tidak langsung adalah metrik yang dibantu AI dan tidak memerlukan pengukuran komparatif seperti mengevaluasi serangan langsung. Hasilkan himpunan data yang disuntikkan jailbreak serangan tidak langsung dengan simulator serangan tidak langsung kemudian evaluasi dengan IndirectAttackEvaluator.

Evaluator komposit

Evaluator komposit dibangun dalam evaluator yang menggabungkan metrik kualitas atau keamanan individu untuk dengan mudah menyediakan berbagai metrik langsung dari kotak untuk pasangan respons kueri atau pesan obrolan.

Evaluator komposit	Berisi	Deskripsi
QAEvaluator	GroundednessEvaluator, , RelevanceEvaluatorCoherenceEvaluator, FluencyEvaluator, , SimilarityEvaluator,F1ScoreEvaluator	Menggabungkan semua evaluator kualitas untuk satu output metrik gabungan untuk pasangan kueri dan respons
ContentSafetyEvaluator	ViolenceEvaluator, , SexualEvaluatorSelfHarmEvaluator,HateUnfairnessEvaluator	Menggabungkan semua evaluator keamanan untuk satu output metrik gabungan untuk pasangan kueri dan respons

Evaluator kustom

Evaluator bawaan sangat bagus untuk mulai mengevaluasi generasi aplikasi Anda. Namun, Anda mungkin ingin membangun evaluator berbasis kode atau berbasis permintaan Anda sendiri untuk memenuhi kebutuhan evaluasi spesifik Anda.

Evaluator berbasis kode

Terkadang model bahasa besar tidak diperlukan untuk metrik evaluasi tertentu. Ini adalah ketika evaluator berbasis kode dapat memberi Anda fleksibilitas untuk menentukan metrik berdasarkan fungsi atau kelas yang dapat dipanggil. Mengingat kelas Python sederhana dalam contoh answer_length.py yang menghitung panjang jawaban:

class AnswerLengthEvaluator:
    def __init__(self):
        pass

    def __call__(self, *, answer: str, **kwargs):
        return {"answer_length": len(answer)}

Anda dapat membuat evaluator berbasis kode Anda sendiri dan menjalankannya pada baris data dengan mengimpor kelas yang dapat dipanggil:

with open("answer_length.py") as fin:
    print(fin.read())
from answer_length import AnswerLengthEvaluator

answer_length = AnswerLengthEvaluator(answer="What is the speed of light?")

print(answer_length)

Hasilnya:

{"answer_length":27}

Catat evaluator berbasis kode kustom Anda ke proyek AI Studio Anda

# First we need to save evaluator into separate file in its own directory:
def answer_len(answer):
    return len(answer)

# Note, we create temporary directory to store our python file
target_dir_tmp = "flex_flow_tmp"
os.makedirs(target_dir_tmp, exist_ok=True)
lines = inspect.getsource(answer_len)
with open(os.path.join("flex_flow_tmp", "answer.py"), "w") as fp:
    fp.write(lines)

from flex_flow_tmp.answer import answer_len as answer_length
# Then we convert it to flex flow
pf = PFClient()
flex_flow_path = "flex_flow"
pf.flows.save(entry=answer_length, path=flex_flow_path)
# Finally save the evaluator
eval = Model(
    path=flex_flow_path,
    name="answer_len_uploaded",
    description="Evaluator, calculating answer length using Flex flow.",
)
flex_model = ml_client.evaluators.create_or_update(eval)
# This evaluator can be downloaded and used now
retrieved_eval = ml_client.evaluators.get("answer_len_uploaded", version=1)
ml_client.evaluators.download("answer_len_uploaded", version=1, download_path=".")
evaluator = load_flow(os.path.join("answer_len_uploaded", flex_flow_path))

Setelah mencatat evaluator kustom ke proyek AI Studio, Anda dapat melihatnya di pustaka Evaluator di bawah tab Evaluasi di AI Studio.

Evaluator berbasis perintah

Untuk membangun evaluator model bahasa besar berbasis prompt Anda sendiri atau anotator yang dibantu AI, Anda dapat membuat evaluator kustom berdasarkan file Prompty . Prompty adalah file dengan .prompty ekstensi untuk mengembangkan templat prompt. Aset Prompty adalah file markdown dengan front matter yang dimodifikasi. Materi depan dalam format YAML yang berisi banyak bidang metadata yang menentukan konfigurasi model dan input yang diharapkan dari Prompty. Mengingat contoh apology.prompty file yang terlihat seperti berikut ini:

---
name: Apology Evaluator
description: Apology Evaluator for QA scenario
model:
  api: chat
  configuration:
    type: azure_openai
    connection: open_ai_connection
    azure_deployment: gpt-4
  parameters:
    temperature: 0.2
    response_format: { "type":"json_object"}
inputs:
  query:
    type: string
  response:
    type: string
outputs:
  apology:
    type: int
---
system:
You are an AI tool that determines if, in a chat conversation, the assistant apologized, like say sorry.
Only provide a response of {"apology": 0} or {"apology": 1} so that the output is valid JSON.
Give a apology of 1 if apologized in the chat conversation.

Berikut adalah beberapa contoh percakapan obrolan dan respons yang benar:

user: Where can I get my car fixed?
assistant: I'm sorry, I don't know that. Would you like me to look it up for you?
result:
{"apology": 1}

Berikut adalah percakapan aktual yang akan dinilai:

user: {{query}}
assistant: {{response}}
output:

Anda dapat membuat evaluator berbasis prompty Anda sendiri dan menjalankannya pada baris data:

with open("apology.prompty") as fin:
    print(fin.read())
from promptflow.client import load_flow

# load apology evaluator from prompty file using promptflow
apology_eval = load_flow(source="apology.prompty", model={"configuration": model_config})
apology_score = apology_eval(
    query="What is the capital of France?", response="Paris"
)
print(apology_score)

Berikut hasilnya:

{"apology": 0}

Catat evaluator berbasis prompt kustom Anda ke proyek AI Studio Anda

# Define the path to prompty file.
prompty_path = os.path.join("apology-prompty", "apology.prompty")
# Finally the evaluator
eval = Model(
    path=prompty_path,
    name="prompty_uploaded",
    description="Evaluator, calculating answer length using Flex flow.",
)
flex_model = ml_client.evaluators.create_or_update(eval)
# This evaluator can be downloaded and used now
retrieved_eval = ml_client.evaluators.get("prompty_uploaded", version=1)
ml_client.evaluators.download("prompty_uploaded", version=1, download_path=".")
evaluator = load_flow(os.path.join("prompty_uploaded", "apology.prompty"))

Setelah mencatat evaluator kustom ke proyek AI Studio, Anda dapat melihatnya di pustaka Evaluator di bawah tab Evaluasi di AI Studio.

Mengevaluasi himpunan data pengujian menggunakan evaluate()

Setelah Anda memeriksa evaluator bawaan atau kustom pada satu baris data, Anda dapat menggabungkan beberapa evaluator dengan evaluate() API pada seluruh himpunan data pengujian. Untuk memastikan evaluate() dapat mengurai data dengan benar, Anda harus menentukan pemetaan kolom untuk memetakan kolom dari himpunan data ke kata kunci yang diterima oleh evaluator. Dalam hal ini, kami menentukan pemetaan data untuk ground_truth.

from azure.ai.evaluation import evaluate

result = evaluate(
    data="data.jsonl", # provide your data here
    evaluators={
        "relevance": relevance_eval,
        "answer_length": answer_length
    },
    # column mapping
    evaluator_config={
        "default": {
            "ground_truth": "${data.truth}"
        }
    },
    # Optionally provide your AI Studio project information to track your evaluation results in your Azure AI Studio project
    azure_ai_project = azure_ai_project,
    # Optionally provide an output path to dump a json of metric summary, row level data and metric and studio URL
    output_path="./myevalresults.json"
)

Tip

Dapatkan konten result.studio_url properti untuk tautan guna melihat hasil evaluasi yang dicatat di Azure AI Studio. Output evaluator menghasilkan kamus yang berisi data dan metrik tingkat agregat metrics dan baris. Contoh output:

{'metrics': {'answer_length.value': 49.333333333333336,
             'relevance.gpt_relevance': 5.0},
 'rows': [{'inputs.response': 'Paris is the capital of France.',
           'inputs.context': 'France is in Europe',
           'inputs.ground_truth': 'Paris has been the capital of France since '
                                  'the 10th century and is known for its '
                                  'cultural and historical landmarks.',
           'inputs.query': 'What is the capital of France?',
           'outputs.answer_length.value': 31,
           'outputs.relevance.gpt_relevance': 5},
          {'inputs.response': 'Albert Einstein developed the theory of '
                            'relativity.',
           'inputs.context': 'The theory of relativity is a foundational '
                             'concept in modern physics.',
           'inputs.ground_truth': 'Albert Einstein developed the theory of '
                                  'relativity, with his special relativity '
                                  'published in 1905 and general relativity in '
                                  '1915.',
           'inputs.query': 'Who developed the theory of relativity?',
           'outputs.answer_length.value': 51,
           'outputs.relevance.gpt_relevance': 5},
          {'inputs.response': 'The speed of light is approximately 299,792,458 '
                            'meters per second.',
           'inputs.context': 'Light travels at a constant speed in a vacuum.',
           'inputs.ground_truth': 'The exact speed of light in a vacuum is '
                                  '299,792,458 meters per second, a constant '
                                  "used in physics to represent 'c'.",
           'inputs.query': 'What is the speed of light?',
           'outputs.answer_length.value': 66,
           'outputs.relevance.gpt_relevance': 5}],
 'traces': {}}

Persyaratan untuk evaluate()

evaluate() API memiliki beberapa persyaratan untuk format data yang diterimanya dan caranya menangani nama kunci parameter evaluator sehingga bagan di hasil evaluasi AI Studio Anda muncul dengan benar.

Format data

evaluate() API hanya menerima data dalam format JSONLines. Untuk semua evaluator bawaan, evaluate() memerlukan data dalam format berikut dengan bidang input yang diperlukan. Lihat bagian sebelumnya tentang input data yang diperlukan untuk evaluator bawaan.

{
  "query":"What is the capital of France?",
  "context":"France is in Europe",
  "response":"Paris is the capital of France.",
  "ground_truth": "Paris"
}

Format parameter evaluator

Saat meneruskan evaluator bawaan Anda, penting untuk menentukan pemetaan kata kunci yang evaluators tepat dalam daftar parameter. Berikut ini adalah pemetaan kata kunci yang diperlukan agar hasil dari evaluator bawaan Anda muncul di UI saat masuk ke Azure AI Studio.

Evaluator	param kata kunci
RelevanceEvaluator	"relevansi"
CoherenceEvaluator	"koherensi"
GroundednessEvaluator	"groundedness"
FluencyEvaluator	"kefasihan"
SimilarityEvaluator	"Kesamaan"
F1ScoreEvaluator	"f1_score"
RougeScoreEvaluator	"rouge"
GleuScoreEvaluator	"gleu"
BleuScoreEvaluator	"bleu"
MeteorScoreEvaluator	"meteor"
ViolenceEvaluator	"Kekerasan"
SexualEvaluator	"seksual"
SelfHarmEvaluator	"self_harm"
HateUnfairnessEvaluator	"hate_unfairness"
QAEvaluator	"qa"
ContentSafetyEvaluator	"content_safety"

Berikut adalah contoh pengaturan evaluators parameter:

result = evaluate(
    data="data.jsonl",
    evaluators={
        "sexual":sexual_evaluator
        "self_harm":self_harm_evaluator
        "hate_unfairness":hate_unfairness_evaluator
        "violence":violence_evaluator
    }
)

Mengevaluasi pada target

Jika Anda memiliki daftar kueri yang ingin Anda jalankan kemudian evaluasi, evaluate() yang juga mendukung target parameter, yang dapat mengirim kueri ke aplikasi untuk mengumpulkan jawaban, lalu jalankan evaluator Anda pada kueri dan respons yang dihasilkan.

Target dapat berupa kelas yang dapat dipanggil di direktori Anda. Dalam hal ini kita memiliki skrip askwiki.py python dengan kelas askwiki() yang dapat dipanggil yang dapat kita tetapkan sebagai target kita. Mengingat himpunan data kueri yang dapat kita kirim ke aplikasi sederhana askwiki , kita dapat mengevaluasi relevansi output.

from askwiki import askwiki

result = evaluate(
    data="data.jsonl",
    target=askwiki,
    evaluators={
        "relevance": relevance_eval
    },
    evaluator_config={
        "default": {
            "query": "${data.queries}"
            "context": "${outputs.context}"
            "response": "${outputs.response}"
        }
    }
)

Konten terkait

• Dokumentasi referensi Azure Python
• Pelajari selengkapnya tentang metrik evaluasi
• Pelajari selengkapnya tentang mensimulasikan himpunan data pengujian untuk evaluasi
• Menampilkan hasil evaluasi Anda di Azure AI Studio
• Mulai membuat aplikasi obrolan menggunakan Azure AI SDK
• Mulai menggunakan sampel evaluasi