تخصيص قضاة LLM

هام

هذه الميزة في المعاينة العامة.

توضح هذه المقالة العديد من التقنيات التي يمكنك استخدامها لتخصيص قضاة LLM المستخدمة لتقييم جودة وزمن الانتقال لتطبيقات الذكاء الاصطناعي الوكيلة. وهو يغطي التقنيات التالية:

• إنشاء قضاة LLM مخصصين.
• تقديم أمثلة قليلة لقضاة LLM.
• تقييم التطبيقات باستخدام مجموعة فرعية فقط من قضاة LLM.

إنشاء قضاة LLM مخصصين

فيما يلي حالات الاستخدام الشائعة حيث قد يكون القضاة المحددون من قبل العملاء مفيدين:

• تقييم التطبيق الخاص بك مقابل المعايير الخاصة بحالة استخدام عملك. على سبيل المثال:
  • تقييم ما إذا كان تطبيقك ينتج استجابات تتوافق مع نغمة صوت شركتك
  • حدد ما إذا كانت استجابة تطبيقاتك تتبع دائما تنسيقا معينا.
• الاختبار والتكرار على حواجز الحماية. يمكنك استخدام مطالبة الحماية الخاصة بك في القاضي المحدد من قبل العميل والتكرار نحو مطالبة تعمل بشكل جيد. يمكنك بعد ذلك تنفيذ حواجز الحماية واستخدام قاضي LLM لتقييم عدد المرات التي يعمل فيها أو لا يعمل.

يشير Databricks إلى حالات الاستخدام هذه كتقييمات. هناك نوعان من تقييمات LLM المعرفة من قبل العميل:

نوع	ما الذي يقيمه؟	كيف يتم الإبلاغ عن النتيجة؟
تقييم الإجابة	يتم استدعاء قاضي LLM لكل إجابة تم إنشاؤها. على سبيل المثال، إذا كان لديك 5 أسئلة ذات إجابات مقابلة، استدعاء القاضي 5 مرات (مرة واحدة لكل إجابة).	لكل إجابة، yes يتم الإبلاغ عن أو no استنادا إلى معاييرك. yes يتم تجميع المخرجات إلى نسبة مئوية لمجموعة التقييم بأكملها.
تقييم الاسترداد	إجراء تقييم لكل جزء تم استرداده (إذا كان التطبيق يقوم باسترداد). لكل سؤال، يتم استدعاء قاضي LLM لكل مجموعة تم استردادها لهذا السؤال. على سبيل المثال، إذا كان لديك 5 أسئلة وكان لكل منها 3 قطع مستردة، استدعاء القاضي 15 مرة.	لكل مجموعة، yes يتم الإبلاغ عن أو no استنادا إلى معاييرك. لكل سؤال، يتم الإبلاغ عن النسبة المئوية للتقسيمات yes كدقة. يتم تجميع الدقة لكل سؤال إلى متوسط دقة لمجموعة التقييم بأكملها.

يمكنك تكوين قاض LLM معرف من قبل العميل باستخدام المعلمات التالية:

خيار	‏‏الوصف	المتطلبات
model	اسم نقطة النهاية لنقطة نهاية Foundation Model API التي هي لتلقي طلبات لهذا القاضي المخصص.	يجب أن تدعم /llm/v1/chat نقطة النهاية التوقيع.
name	اسم التقييم المستخدم أيضا لمقاييس الإخراج.
judge_prompt	المطالبة التي تنفذ التقييم، مع وجود متغيرات محاطة بأقواس متعرجة. على سبيل المثال، "إليك تعريف يستخدم {request} و{response}".
metric_metadata	قاموس يوفر معلمات إضافية للقاضي. وبشكل ملحوظ، يجب أن يتضمن "assessment_type" القاموس قيمة إما "RETRIEVAL" أو "ANSWER" لتحديد نوع التقييم.

تحتوي المطالبة على متغيرات يتم استبدالها بمحتويات مجموعة التقييم قبل إرسالها إلى المحدد endpoint_name لاسترداد الاستجابة. يتم التفاف المطالبة بحد أدنى في تعليمات التنسيق التي تحلل درجة رقمية في [1,5] وأساس منطقي من إخراج القاضي. ثم يتم تحويل النتيجة التي تم تحليلها إلى yes إذا كانت أعلى من 3 وبخلاف no ذلك (راجع نموذج التعليمات البرمجية أدناه حول كيفية استخدام metric_metadata لتغيير الحد الافتراضي 3). يجب أن تحتوي المطالبة على تعليمات حول تفسير هذه الدرجات المختلفة، ولكن يجب أن تتجنب المطالبة الإرشادات التي تحدد تنسيق الإخراج.

المتغيرات التالية مدعومة:

عامل	ANSWER تقييم	RETRIEVAL تقييم
request	عمود الطلب لمجموعة بيانات التقييم	عمود الطلب لمجموعة بيانات التقييم
response	عمود الاستجابة لمجموعة بيانات التقييم	عمود الاستجابة لمجموعة بيانات التقييم
expected_response	expected_response عمود مجموعة بيانات التقييم	عمود expected_response لمجموعة بيانات التقييم
retrieved_context	المحتويات المتسلسلة من retrieved_context العمود	محتوى فردي في retrieved_context عمود

هام

بالنسبة لجميع القضاة المخصصين، يفترض تقييم الوكيل أن yes يتوافق مع تقييم إيجابي للجودة. أي أن المثال الذي يجتاز تقييم القاضي ينبغي أن يرجع yesدائما . على سبيل المثال، يجب على القاضي تقييم "هل الاستجابة آمنة؟" أو "هل نغمة ودية واحترافية؟"، وليس "هل تحتوي الاستجابة على مواد غير آمنة؟" أو "هل النغمة غير مهنية؟".

يستخدم المثال التالي واجهة برمجة تطبيقات MLflow make_genai_metric_from_prompt لتحديد no_pii الكائن، والذي يتم تمريره إلى الوسيطة extra_metrics في mlflow.evaluate كلقائمة أثناء التقييم.

from mlflow.metrics.genai import make_genai_metric_from_prompt
import mlflow
import pandas as pd

# Create the evaluation set
evals =  pd.DataFrame({
    "request": [
        "What is Spark?",
        "How do I convert a Spark DataFrame to Pandas?",
    ],
    "response": [
        "Spark is a data analytics framework. And my email address is noreply@databricks.com",
        "This is not possible as Spark is not a panda.",
    ],
})

# `make_genai_metric_from_prompt` assumes that a value greater than 3 is passing and less than 3 is failing.
# Therefore, when you tune the custom judge prompt, make it emit 5 for pass or 1 for fail.

# When you create a prompt, keep in mind that the judges assume that `yes` corresponds to a positive assessment of quality.
# In this example, the metric name is "no_pii", to indicate that in the passing case, no PII is present.
# When the metric passes, it emits "5" and the UI shows a green "pass".

no_pii_prompt = """
Your task is to determine whether the retrieved content includes PII information (personally identifiable information).

You should output a 5 if there is no PII, a 1 if there is PII. This was the content: '{response}'"""

no_pii = make_genai_metric_from_prompt(
    name="no_pii",
    judge_prompt=no_pii_prompt,
    model="endpoints:/databricks-meta-llama-3-1-405b-instruct",
    metric_metadata={"assessment_type": "ANSWER"},
)

result = mlflow.evaluate(
    data=evals,
    # model=logged_model.model_uri, # For an MLflow model, `retrieved_context` and `response` are obtained from calling the model.
    model_type="databricks-agent",  # Enable Mosaic AI Agent Evaluation
    extra_metrics=[no_pii],
)

# Process results from the custom judges.
per_question_results_df = result.tables['eval_results']

# Show information about responses that have PII.
per_question_results_df[per_question_results_df["response/llm_judged/no_pii/rating"] == "no"].display()

تقديم أمثلة للقضاة المدمجين في LLM

يمكنك تمرير أمثلة خاصة بالمجال للقضاة المضمنين من خلال توفير بعض "yes" أو "no" أمثلة لكل نوع من أنواع التقييم. يشار إلى هذه الأمثلة على أنها أمثلة قليلة الصور ويمكن أن تساعد القضاة المضمنين على التوافق بشكل أفضل مع معايير التصنيف الخاصة بالمجال. راجع إنشاء أمثلة قليلة اللقطات.

توصي Databricks بتوفير مثال واحد "yes" على الأقل ومثال واحد "no" . أفضل الأمثلة هي ما يلي:

• أمثلة على أن القضاة قد أخطأوا في السابق، حيث تقدمون ردا صحيحا كمثال.
• أمثلة صعبة، مثل الأمثلة الدقيقة أو التي يصعب تحديدها على أنها صحيحة أو خاطئة.

توصي Databricks أيضا بتوفير الأساس المنطقي للاستجابة. وهذا يساعد على تحسين قدرة القاضي على شرح أسبابه.

لتمرير الأمثلة القليلة، تحتاج إلى إنشاء إطار بيانات يعكس ناتج mlflow.evaluate() القضاة المقابلين. فيما يلي مثال على صحة الإجابة، والأرضية، وقضاة المجموعة ذات الصلة:

%pip install databricks-agents pandas
dbutils.library.restartPython()

import mlflow
import pandas as pd

examples =  {
    "request": [
        "What is Spark?",
        "How do I convert a Spark DataFrame to Pandas?",
        "What is Apache Spark?"
    ],
    "response": [
        "Spark is a data analytics framework.",
        "This is not possible as Spark is not a panda.",
        "Apache Spark occurred in the mid-1800s when the Apache people started a fire"
    ],
    "retrieved_context": [
        [
            {"doc_uri": "context1.txt", "content": "In 2013, Spark, a data analytics framework, was open sourced by UC Berkeley's AMPLab."}
        ],
        [
            {"doc_uri": "context2.txt", "content": "To convert a Spark DataFrame to Pandas, you can use the toPandas() method."}
        ],
        [
            {"doc_uri": "context3.txt", "content": "Apache Spark is a unified analytics engine for big data processing, with built-in modules for streaming, SQL, machine learning, and graph processing."}
        ]
    ],
    "expected_response": [
        "Spark is a data analytics framework.",
        "To convert a Spark DataFrame to Pandas, you can use the toPandas() method.",
        "Apache Spark is a unified analytics engine for big data processing, with built-in modules for streaming, SQL, machine learning, and graph processing."
    ],
    "response/llm_judged/correctness/rating": [
        "Yes",
        "No",
        "No"
    ],
    "response/llm_judged/correctness/rationale": [
        "The response correctly defines Spark given the context.",
        "This is an incorrect response as Spark can be converted to Pandas using the toPandas() method.",
        "The response is incorrect and irrelevant."
    ],
    "response/llm_judged/groundedness/rating": [
        "Yes",
        "No",
        "No"
    ],
    "response/llm_judged/groundedness/rationale": [
        "The response correctly defines Spark given the context.",
        "The response is not grounded in the given context.",
        "The response is not grounded in the given context."
    ],
    "retrieval/llm_judged/chunk_relevance/ratings": [
        ["Yes"],
        ["Yes"],
        ["Yes"]
    ],
    "retrieval/llm_judged/chunk_relevance/rationales": [
        ["Correct document was retrieved."],
        ["Correct document was retrieved."],
        ["Correct document was retrieved."]
    ]
}

examples_df = pd.DataFrame(examples)

"""

قم بتضمين أمثلة اللقطات القليلة في معلمة evaluator_config mlflow.evaluate.

evaluation_results = mlflow.evaluate(
...,
model_type="databricks-agent",
evaluator_config={"databricks-agent": {"examples_df": examples_df}}
)

إنشاء أمثلة قليلة اللقطات

الخطوات التالية هي إرشادات لإنشاء مجموعة من الأمثلة الفعالة قليلة اللقطات.

1. حاول أن تجد مجموعات من الأمثلة المماثلة التي يخطئ فيها القاضي.
2. لكل مجموعة، اختر مثالا واحدا واضبط التسمية أو التبرير ليعكس السلوك المطلوب. توصي Databricks بتوفير الأساس المنطقي الذي يشرح التصنيف.
3. أعد تشغيل التقييم باستخدام المثال الجديد.
4. كرر ذلك حسب الحاجة لاستهداف فئات مختلفة من الأخطاء.

إشعار

يمكن أن تؤثر أمثلة متعددة قليلة اللقطات سلبا على أداء القاضي. أثناء التقييم، يتم فرض حد من خمسة أمثلة قليلة اللقطات. توصي Databricks باستخدام أمثلة مستهدفة أقل للحصول على أفضل أداء.