생성 AI의 평가 및 모니터링 메트릭
참고 항목
Azure AI 스튜디오는 현재 공개 미리 보기로 제공됩니다. 이 미리 보기는 서비스 수준 계약 없이 제공되며, 프로덕션 워크로드에는 권장되지 않습니다. 특정 기능이 지원되지 않거나 기능이 제한될 수 있습니다. 자세한 내용은 Microsoft Azure Preview에 대한 추가 사용 약관을 참조하세요.
Azure AI 스튜디오를 사용하면 특정 데이터(검색 증강 생성 또는 RAG라고도 함)에서 생성 AI 모델을 기반으로 하는 단일 턴 또는 복잡한 다중 턴 대화를 평가할 수 있습니다. 생성 AI 모델(비 RAG)을 기반으로 하는 데 컨텍스트가 사용되지 않는 일반적인 단일 턴 질문 답변 시나리오도 평가할 수도 있습니다. 현재 다음 작업 유행에 대해 기본 제공 메트릭을 지원합니다.
질문 답변(단일 턴)
이 설정에서는 사용자가 개별 질문 또는 프롬프트를 제기하면 생성 AI 모델이 사용되어 즉시 응답을 생성합니다.
테스트 집합 형식은 다음 데이터 형식을 따릅니다.
{"question":"Which tent is the most waterproof?","context":"From our product list, the Alpine Explorer tent is the most waterproof. The Adventure Dining Table has higher weight.","answer":"The Alpine Explorer Tent is the most waterproof.","ground_truth":"The Alpine Explorer Tent has the highest rainfly waterproof rating at 3000m"}
참고 항목
"컨텍스트" 및 "참값" 필드는 선택 사항이며 지원되는 메트릭은 사용자가 제공하는 필드에 따라 달라집니다.
대화(단일 턴 및 멀티 턴)
이 컨텍스트에서는 사용자가 일련의 턴 또는 단일 턴을 통해 대화형 상호 작용에 참여합니다. 검색 메커니즘을 갖춘 생성 AI 모델은 응답을 생성하고 문서와 같은 외부 소스의 정보에 액세스하고 통합할 수 있습니다. RAG(검색 증강 생성) 모델은 외부 문서와 지식을 사용하여 응답의 품질과 관련성을 향상합니다.
테스트 집합 형식은 다음 데이터 형식을 따릅니다.
{"messages":[{"role":"user","content":"How can I check the status of my online order?"},{"content":"Hi Sarah Lee! To check the status of your online order for previous purchases such as the TrailMaster X4 Tent or the CozyNights Sleeping Bag, please refer to your email for order confirmation and tracking information. If you need further assistance, feel free to contact our customer support at support@contosotrek.com or give us a call at 1-800-555-1234.
","role":"assistant","context":{"citations":[{"id":"cHJvZHVjdF9pbmZvXzYubWQz","title":"Information about product item_number: 6","content":"# Information about product item_number: 6\n\nIt's essential to check local regulations before using the EcoFire Camping Stove, as some areas may have restrictions on open fires or require a specific type of stove.\n\n30) How do I clean and maintain the EcoFire Camping Stove?\n To clean the EcoFire Camping Stove, allow it to cool completely, then wipe away any ash or debris with a brush or cloth. Store the stove in a dry place when not in use."}]}}]}
지원되는 메트릭
대규모 언어 모델을 평가하는 방법에서 설명했듯이, 수동 측정 방법과 자동 측정 방법이 있습니다. 자동 측정은 범위를 늘려서 보다 포괄적인 결과를 제공할 수 있는 측정에 유용합니다. 시스템, 사용 및 완화의 발전에 따라 지속적인 측정을 통해 회귀를 모니터링하는 데에도 유용합니다.
생성 AI 애플리케이션의 자동 측정 방법으로 두 가지가 지원됩니다.
- 기존의 기계 학습 메트릭
- AI 지원 메트릭
AI 지원 메트릭은 특히 정의된 참값이 없어서 예상 답변을 사용할 수 없는 경우에 GPT-4와 같은 언어 모델을 활용하여 AI가 생성한 출력을 평가합니다. F1 점수와 같은 기존 기계 학습 메트릭은 AI에서 생성된 응답과 예상 답변 간의 정밀도와 재현율을 측정합니다.
AI 지원 메트릭은 생성형 AI 애플리케이션의 안전성과 생성 품질을 평가합니다. 이러한 메트릭은 다음 두 가지 범주로 구분됩니다.
위험 및 안전 메트릭:
이 메트릭은 잠재적인 콘텐츠 및 보안 위험을 식별하고 생성된 콘텐츠의 안전을 보장하는 데 중점을 둡니다.
다음이 포함됩니다.
- 증오 및 불공정 콘텐츠 결함률
- 성적 콘텐츠 결함률
- 폭력 콘텐츠 결함률
- 자해 관련 콘텐츠 결함률
- 탈옥 결함률
생성 품질 메트릭:
이 메트릭은 생성된 콘텐츠의 전반적인 품질과 일관성을 평가합니다.
다음이 포함됩니다.
- 일관성
- 유창성
- 접지
- 정확도
- 검색 점수
- 유사성
위의 작업 유형에 대해 다음 AI 지원 메트릭을 지원합니다.
| 작업 유형 | 질문 및 생성된 답변만(컨텍스트 또는 참값이 필요하지 않음) | 질문 및 생성된 답변 + 컨텍스트 | 질문 및 생성된 답변 + 컨텍스트 + 참값 |
|---|---|---|---|
| 질문 답변 | - 위험 및 안전 메트릭(모든 AI 지원): 증오 및 불공정 콘텐츠 결함률, 성적 콘텐츠 결함률, 폭력 콘텐츠 결함률, 자해 관련 콘텐츠 결함률 및 탈옥 결함율 - 생성 품질 메트릭(모든 AI 지원): 일관성, 유창성 |
이전 열 메트릭 + 생성 품질 메트릭(모든 AI 지원): - 근거성 - 관련성 |
이전 열 메트릭 + 생성 품질 메트릭: 유사성(AI 지원) F1 점수(기존 ML 메트릭) |
| 대화 | - 위험 및 안전 메트릭(모든 AI 지원): 증오 및 불공정 콘텐츠 결함률, 성적 콘텐츠 결함률, 폭력 콘텐츠 결함률, 자해 관련 콘텐츠 결함률 및 탈옥 결함율 - 생성 품질 메트릭(모든 AI 지원): 일관성, 유창성 |
이전 열 메트릭 + 생성 품질 메트릭(모든 AI 지원): - 근거성 - 검색 점수 |
해당 없음 |
참고 항목
생성 AI 애플리케이션의 품질과 안전을 쉽고 효율적으로 평가할 수 있는 포괄적인 기본 제공 메트릭 집합을 제공하는 한편, 특정 작업 유형에 채택하고 사용자 지정할 수 있는 모범 사례입니다. 뿐만 아니라 완전히 새로운 메트릭을 도입하여 새로운 각도에서 애플리케이션을 측정하고 고유의 목표와 부합하게 만들 수 있습니다.
위험 및 안전 메트릭
위험 및 안전 메트릭은 GitHub Copilot 및 Bing과 같은 이전의 대규모 언어 모델 프로젝트에서 얻은 인사이트를 기반으로 합니다. 이렇게 하면 위험 및 안전 심각도 점수에 대해 생성된 응답을 평가하는 포괄적인 접근 방식이 보장됩니다. 이러한 메트릭은 일련의 LLM을 사용하는 안전 평가 서비스를 통해 생성됩니다. 각 모델은 응답에 있을 수 있는 특정 위험(예: 성적 콘텐츠, 폭력 콘텐츠 등)을 평가하는 임무를 맡습니다. 이러한 모델은 위험 정의 및 심각도 확장과 함께 제공되며 그에 따라 생성된 대화에 주석을 추가합니다. 현재 아래의 위험 및 안전 메트릭에 대한 “결함률”을 계산합니다. 이러한 각 메트릭에 대해 서비스는 이러한 유형의 콘텐츠가 검색되었는지 여부와 심각도 수준이 어떤지 측정합니다. 네 가지 유형 각각에는 세 가지 심각도 수준(매우 낮음, 낮음, 보통, 높음)이 있습니다. 사용자는 허용 오차 임계값을 지정하고, 서비스에서 생성되는 결함률은 각 임계값 수준 이상에서 생성된 인스턴스 수에 해당합니다.
콘텐츠 유형:
- 증오 및 불공정 콘텐츠
- 성적인 콘텐츠
- 폭력적인 콘텐츠
- 자해 관련 콘텐츠
위의 콘텐츠 유형 외에도 모델 응답에서 탈옥의 보급을 측정하는 메트릭인 평가에서 비교 보기로 탈옥 결함률을 지원합니다. 탈옥은 모델 응답이 모델 응답에 적용된 제한을 우회하는 경우입니다. 탈옥은 LLM이 의도한 작업 또는 토픽에서 벗어나는 경우에도 발생합니다.
사용자는 자체 데이터에서 이러한 위험 및 안전 메트릭을 측정하거나 Azure AI SDK를 사용하여 생성형 AI 애플리케이션과의 다양한 공격 상호 작용을 시뮬레이션할 테스트를 출력할 수 있습니다(콘텐츠 위험 데이터 세트라고도 합니다). 그런 다음, 이 시뮬레이션된 테스트 데이터 세트에서 평가하여 콘텐츠 위험 심각도 수준(매우 낮음, 낮음, 중간 또는 높음)을 사용하여 주석이 추가된 테스트 데이터 세트를 출력하고, Azure AI에서 결과를 볼 수 있습니다. 이는 전체 테스트 데이터 세트와 각 콘텐츠 위험 레이블 및 추론의 인스턴스 보기에서 전반적인 결함률을 제공합니다.
테이블의 다른 메트릭과는 달리 탈옥 취약성은 LLM에서 주석으로 안정적으로 측정할 수 없습니다. 그러나 탈옥 취약성은 서로 다른 두 개의 자동화된 데이터 세트인 (1) 콘텐츠 위험 데이터 세트와 (2) 첫 번째 턴에서 탈옥 주입을 한 콘텐츠 위험 데이터 세트를 비교해서 측정할 수 있습니다. 그런 다음 사용자는 두 데이터 세트의 콘텐츠 위험 결함률을 비교하여 탈옥 취약성을 평가합니다.
참고 항목
AI 지원 위험 및 안전 메트릭은 Azure AI Studio 안전 평가 백 엔드 서비스에서 호스트되며 미국 동부 2, 프랑스 중부, 영국 남부, 스웨덴 중부 지역에서만 사용할 수 있습니다.
사용 가능한 지역의 용량은 다음과 같습니다.
| 지역 | TPM |
|---|---|
| 스웨덴 중부 | 450k |
| 프랑스 중부 | 380k |
| 영국 남부 | 280k |
| 미국 동부 2 | 80K |
증오스럽고 불공정한 콘텐츠 정의 및 심각도 배율
성적 콘텐츠 정의 및 심각도 배율
폭력 콘텐츠 정의 및 심각도 배율
자해 관련 콘텐츠 정의 및 심각도 배율
생성 품질 메트릭
생성 품질 메트릭은 생성형 AI 애플리케이션에서 생성된 콘텐츠의 전반적인 품질을 평가하는 데 사용됩니다. 이러한 메트릭이 수반하는 항목에 대한 분석은 다음과 같습니다.
AI 지원: 근거성
근거성을 위해 다음 두 가지 버전을 제공합니다.
- Azure AI Studio 안전 평가에 통합을 통해 AACS(Azure AI Content Safety Service)를 활용하는 근거 검색 백 엔드 서비스가 점수 및 추론을 출력할 수 있는 모델을 제공하기 때문에 사용자에게 배포가 필요하지 않습니다. 현재 미국 동부 2 및 스웨덴 중부 지역에서 지원됩니다.
- 사용자 고유의 모델을 사용하여 점수만 출력하는 프롬프트 전용 기반의 근거성입니다. 현재 모든 지역에서 지원됩니다.
AACS 기반 근거성
| 점수 특징 | 점수 정보 |
|---|---|
| 점수 범위 | 1~5(여기서 1은 근거가 없음이며 5는 근거가 있음입니다.) |
| 어떤 메트릭인가요? | 모델의 생성된 답변이 원본 데이터의 정보(예: RAG 질문 및 답변의 검색된 문서 또는 요약을 위한 문서)와 얼마나 잘 일치하는지 측정하고, 생성된 특정 문장의 근거 없는 추론을 출력합니다. |
| 작동 방식 | 근거 검색은 NLI(자연어 유추)라는 자연어 처리 작업에 미세 조정된 Azure AI 콘텐츠 안전 서비스 사용자 지정 언어 모델을 활용합니다. 이 작업은 클레임이 원본 문서에 수반되거나 수반되지 않는 것으로 평가합니다. |
| 언제 사용하나요? | AI가 생성한 답변이 제공된 컨텍스트와 일치하고 유효성 검사를 통과하는지 확인해야 하는 경우 근거성 메트릭을 사용합니다. 정보 검색, 질문 답변 및 콘텐츠 요약과 같이 사실적 정확성과 컨텍스트 정확성이 중요한 애플리케이션에는 필수로 사용해야 합니다. 이 메트릭은 AI가 생성한 답변이 컨텍스트에서 잘 지원되도록 합니다. |
| 입력으로 무엇이 필요한가요? | 질문, 컨텍스트, 생성된 답변 |
프롬프트 전용 기반 근거성
| 점수 특징 | 점수 정보 |
|---|---|
| 점수 범위 | 1~5(여기서 1은 근거가 없음이며 5는 근거가 있음입니다.) |
| 어떤 메트릭인가요? | 모델이 생성한 답변이 소스 데이터(사용자 정의 컨텍스트)와 얼마나 일치하는지 평가합니다. |
| 작동 방식 | 근거성 측정에서는 AI가 생성한 답변의 클레임과 소스 컨텍스트 간의 관련성을 평가하여 이러한 클레임이 컨텍스트에 의해 입증되는지 확인합니다. LLM의 응답이 실제로 정확하더라도 제공된 소스(예: 입력 소스 또는 데이터베이스)와 대조하여 확인할 수 없는 경우 해당 응답은 근거가 없는 것으로 간주됩니다. |
| 언제 사용하나요? | AI가 생성한 답변이 제공된 컨텍스트와 일치하고 유효성 검사를 통과하는지 확인해야 하는 경우 근거성 메트릭을 사용합니다. 정보 검색, 질문 답변 및 콘텐츠 요약과 같이 사실적 정확성과 컨텍스트 정확성이 중요한 애플리케이션에는 필수로 사용해야 합니다. 이 메트릭은 AI가 생성한 답변이 컨텍스트에서 잘 지원되도록 합니다. |
| 입력으로 무엇이 필요한가요? | 질문, 컨텍스트, 생성된 답변 |
대규모 언어 모델 판정자가 이 메트릭의 점수를 매기기 위해 사용하는 기본 제공 프롬프트:
You will be presented with a CONTEXT and an ANSWER about that CONTEXT. You need to decide whether the ANSWER is entailed by the CONTEXT by choosing one of the following rating:
1. 5: The ANSWER follows logically from the information contained in the CONTEXT.
2. 1: The ANSWER is logically false from the information contained in the CONTEXT.
3. an integer score between 1 and 5 and if such integer score does not exist,
use 1: It is not possible to determine whether the ANSWER is true or false without further information.
Read the passage of information thoroughly and select the correct answer from the three answer labels.
Read the CONTEXT thoroughly to ensure you know what the CONTEXT entails.
Note the ANSWER is generated by a computer system, it can contain certain symbols, which should not be a negative factor in the evaluation.
AI 지원: 관련성
| 점수 특징 | 점수 정보 |
|---|---|
| 점수 범위 | 정수 [1~5]: 1은 나쁨, 5는 좋음 |
| 어떤 메트릭인가요? | 모델이 생성한 답변이 얼마나 관련이 있고 주어진 질문과 얼마나 직접적인 관련이 있는지 측정합니다. |
| 작동 방식 | 관련성 측정에서는 맥락의 핵심을 파악하는 답변의 능력을 평가합니다. 관련성 점수가 높다는 것은 AI 시스템이 입력을 이해한 후 그에 맞게 논리 정연하고 맥락에 맞는 적절한 출력을 생성할 수 있다는 뜻입니다. 반대로 관련성 점수가 낮다는 것은 생성된 답변이 주제를 벗어나거나, 맥락이 부족하거나, 사용자가 의도한 쿼리를 처리하기에는 부족하다는 뜻일 수 있습니다. |
| 언제 사용하나요? | 입력을 이해하고 맥락에 맞는 적절한 답변을 생성하는 AI 시스템의 성능을 평가할 때에는 관련성 메트릭을 사용합니다. |
| 입력으로 무엇이 필요한가요? | 질문, 컨텍스트, 생성된 답변 |
대형 언어 모델 판정자가 이 메트릭의 점수를 매기는 데 사용하는 기본 제공 프롬프트(질문 답변 데이터 형식의 경우):
Relevance measures how well the answer addresses the main aspects of the question, based on the context. Consider whether all and only the important aspects are contained in the answer when evaluating relevance. Given the context and question, score the relevance of the answer between one to five stars using the following rating scale:
One star: the answer completely lacks relevance
Two stars: the answer mostly lacks relevance
Three stars: the answer is partially relevant
Four stars: the answer is mostly relevant
Five stars: the answer has perfect relevance
This rating value should always be an integer between 1 and 5. So the rating produced should be 1 or 2 or 3 or 4 or 5.
큰 언어 모델 판정자가 이 메트릭(대화 데이터 형식의 경우)을 채점하는 데 사용하는 기본 제공 프롬프트(Ground Truth를 사용할 수 없음):
You will be provided a question, a conversation history, fetched documents related to the question and a response to the question in the {DOMAIN} domain. Your task is to evaluate the quality of the provided response by following the steps below:
- Understand the context of the question based on the conversation history.
- Generate a reference answer that is only based on the conversation history, question, and fetched documents. Don't generate the reference answer based on your own knowledge.
- You need to rate the provided response according to the reference answer if it's available on a scale of 1 (poor) to 5 (excellent), based on the below criteria:
5 - Ideal: The provided response includes all information necessary to answer the question based on the reference answer and conversation history. Please be strict about giving a 5 score.
4 - Mostly Relevant: The provided response is mostly relevant, although it might be a little too narrow or too broad based on the reference answer and conversation history.
3 - Somewhat Relevant: The provided response might be partly helpful but might be hard to read or contain other irrelevant content based on the reference answer and conversation history.
2 - Barely Relevant: The provided response is barely relevant, perhaps shown as a last resort based on the reference answer and conversation history.
1 - Completely Irrelevant: The provided response should never be used for answering this question based on the reference answer and conversation history.
- You need to rate the provided response to be 5, if the reference answer can not be generated since no relevant documents were retrieved.
- You need to first provide a scoring reason for the evaluation according to the above criteria, and then provide a score for the quality of the provided response.
- You need to translate the provided response into English if it's in another language.
- Your final response must include both the reference answer and the evaluation result. The evaluation result should be written in English.
큰 언어 모델 판정자가 이 메트릭(대화 데이터 형식의 경우)을 채점하는 데 사용하는 기본 제공 프롬프트(Ground Truth를 사용할 수 있음):
Your task is to score the relevance between a generated answer and the question based on the ground truth answer in the range between 1 and 5, and please also provide the scoring reason.
Your primary focus should be on determining whether the generated answer contains sufficient information to address the given question according to the ground truth answer.
If the generated answer fails to provide enough relevant information or contains excessive extraneous information, then you should reduce the score accordingly.
If the generated answer contradicts the ground truth answer, it will receive a low score of 1-2.
For example, for question "Is the sky blue?", the ground truth answer is "Yes, the sky is blue." and the generated answer is "No, the sky is not blue.".
In this example, the generated answer contradicts the ground truth answer by stating that the sky is not blue, when in fact it is blue.
This inconsistency would result in a low score of 1-2, and the reason for the low score would reflect the contradiction between the generated answer and the ground truth answer.
Please provide a clear reason for the low score, explaining how the generated answer contradicts the ground truth answer.
Labeling standards are as following:
5 - ideal, should include all information to answer the question comparing to the ground truth answer， and the generated answer is consistent with the ground truth answer
4 - mostly relevant, although it might be a little too narrow or too broad comparing to the ground truth answer, and the generated answer is consistent with the ground truth answer
3 - somewhat relevant, might be partly helpful but might be hard to read or contain other irrelevant content comparing to the ground truth answer, and the generated answer is consistent with the ground truth answer
2 - barely relevant, perhaps shown as a last resort comparing to the ground truth answer, and the generated answer contradicts with the ground truth answer
1 - completely irrelevant, should never be used for answering this question comparing to the ground truth answer, and the generated answer contradicts with the ground truth answer
AI 지원: 일관성
| 점수 특징 | 점수 정보 |
|---|---|
| 점수 범위 | 정수 [1~5]: 1은 나쁨, 5는 좋음 |
| 어떤 메트릭인가요? | 흐름이 유려하고, 자연스럽게 읽히고, 사람의 언어와 비슷한 출력을 생성하는 언어 모델의 능력을 측정합니다. |
| 작동 방식 | 일관성 측정에서는 답변이 자연스럽게 읽히고, 흐름이 유려하고, 사람의 언어와 비슷한 텍스트를 생성하는 언어 모델의 능력을 평가합니다. |
| 언제 사용하나요? | 실제 애플리케이션에서 모델이 생성한 답변의 가독성 및 사용자 친화성을 평가할 때 사용합니다. |
| 입력으로 무엇이 필요한가요? | 질문, 생성된 답변 |
대규모 언어 모델 판정자가 이 메트릭의 점수를 매기기 위해 사용하는 기본 제공 프롬프트:
Coherence of an answer is measured by how well all the sentences fit together and sound naturally as a whole. Consider the overall quality of the answer when evaluating coherence. Given the question and answer, score the coherence of answer between one to five stars using the following rating scale:
One star: the answer completely lacks coherence
Two stars: the answer mostly lacks coherence
Three stars: the answer is partially coherent
Four stars: the answer is mostly coherent
Five stars: the answer has perfect coherency
This rating value should always be an integer between 1 and 5. So the rating produced should be 1 or 2 or 3 or 4 or 5.
AI 지원: 유창성
| 점수 특징 | 점수 정보 |
|---|---|
| 점수 범위 | 정수 [1~5]: 1은 나쁨, 5는 좋음 |
| 어떤 메트릭인가요? | 생성 AI가 생성하는 예상 답변의 문법적 숙련도를 측정합니다. |
| 작동 방식 | 유창성 측정에서는 생성된 텍스트가 얼마나 문법 규칙, 구문 구조 및 적절한 어휘 사용법을 준수하여 언어적으로 정확하고 자연스러운 답변을 생성하는지 평가합니다. |
| 언제 사용하나요? | AI가 생성한 텍스트의 언어적 정확성을 평가할 때 유창성 측정을 사용하면 생성되는 답변이 적절한 문법 규칙, 구문 구조 및 어휘 사용법을 준수하게 됩니다. |
| 입력으로 무엇이 필요한가요? | 질문, 생성된 답변 |
대규모 언어 모델 판정자가 이 메트릭의 점수를 매기기 위해 사용하는 기본 제공 프롬프트:
Fluency measures the quality of individual sentences in the answer, and whether they are well-written and grammatically correct. Consider the quality of individual sentences when evaluating fluency. Given the question and answer, score the fluency of the answer between one to five stars using the following rating scale:
One star: the answer completely lacks fluency
Two stars: the answer mostly lacks fluency
Three stars: the answer is partially fluent
Four stars: the answer is mostly fluent
Five stars: the answer has perfect fluency
This rating value should always be an integer between 1 and 5. So the rating produced should be 1 or 2 or 3 or 4 or 5.
AI 지원: 검색 점수
| 점수 특징 | 점수 정보 |
|---|---|
| 점수 범위 | 실수 [1~5]: 1은 나쁨, 5는 좋음 |
| 어떤 메트릭인가요? | 모델이 검색한 문서가 얼마나 관련이 있고 주어진 질문과 얼마나 직접적인 관련이 있는지 측정합니다. |
| 작동 방식 | 검색 점수는 검색된 문서의 품질 및 사용자가 한 질문(전체 대화 기록 내에 요약됨)과의 관련성을 측정합니다. 단계: 1단계: 사용자 쿼리를 의도로 세분화하고, “Azure Linux VM 및 Azure Windows VM의 가격은 얼마야?”와 같은 사용자 쿼리에서 의도 추출 -> 의도는 [“Azure Linux VM의 가격은 얼마야?”, “Azure Windows VM의 가격은 얼마야?”]입니다. 2단계: 사용자 쿼리의 각 의도와 관련하여 의도 자체 또는 의도에 대한 답변이 있거나 검색된 문서에서 유추할 수 있는지 평가해 달라고 모델에 요청합니다. 답변은 “아니요”, 또는 “예, 문서 [doc1], [doc2]…”입니다. “예”는 검색된 문서가 의도 또는 의도에 대한 답변과 관련이 있고 “아니요”는 관련이 없다는 의미입니다. 3단계: “예”로 시작하는 답변이 있는 의도의 비율을 계산합니다. 이때 모든 의도의 중요도는 동일합니다. 4단계: 마지막으로 점수를 제곱하여 실수에 불이익을 줍니다. |
| 언제 사용하나요? | 검색된 문서가 사용자의 질문에 대한 답변과 관련이 많은지 확인하려는 경우에 검색 점수를 사용합니다. 이 점수는 검색된 콘텐츠의 품질과 적합성을 높이는 데 도움이 됩니다. |
| 입력으로 무엇이 필요한가요? | 질문, 컨텍스트, 생성된 답변 |
대규모 언어 모델 판정자가 이 메트릭의 점수를 매기기 위해 사용하는 기본 제공 프롬프트:
A chat history between user and bot is shown below
A list of documents is shown below in json format, and each document has one unique id.
These listed documents are used as contex to answer the given question.
The task is to score the relevance between the documents and the potential answer to the given question in the range of 1 to 5.
1 means none of the documents is relevant to the question at all. 5 means either one of the document or combination of a few documents is ideal for answering the given question.
Think through step by step:
- Summarize each given document first
- Determine the underlying intent of the given question, when the question is ambiguous, refer to the given chat history
- Measure how suitable each document to the given question, list the document id and the corresponding relevance score.
- Summarize the overall relevance of given list of documents to the given question after # Overall Reason, note that the answer to the question can soley from single document or a combination of multiple documents.
- Finally, output "# Result" followed by a score from 1 to 5.
# Question
{{ query }}
# Chat History
{{ history }}
# Documents
---BEGIN RETRIEVED DOCUMENTS---
{{ FullBody }}
---END RETRIEVED DOCUMENTS---
AI 지원: GPT 유사성
| 점수 특징 | 점수 정보 |
|---|---|
| 점수 범위 | 정수 [1~5]: 1은 나쁨, 5는 좋음 |
| 어떤 메트릭인가요? | 소스 데이터(참값) 문장과 AI 모델이 생성한 답변 간의 유사성을 측정합니다. |
| 작동 방식 | GPT 유사성 측정에서는 참값 문장(또는 문서)과 AI 모델이 생성한 예측 문장 간의 유사성을 평가합니다. 이 계산에는 문장의 의미 체계 의미와 맥락을 포착하는 고차원 벡터 표현인 참값과 모델의 예측 모두에 대한 문장 수준 포함을 만드는 것이 포함됩니다. |
| 언제 사용하나요? | AI 모델의 성능을 객관적으로 평가하려는 경우에, 특히 참값 답변에 액세스할 수 있는 텍스트 생성 작업에 사용합니다. GPT 유사성을 사용하면 생성된 텍스트의 의미 체계가 원하는 콘텐츠에 얼마나 부합하는지 평가하여 모델의 품질과 정확도를 측정할 수 있습니다. |
| 입력으로 무엇이 필요한가요? | 질문, 참값 답변, 생성된 답변 |
대규모 언어 모델 판정자가 이 메트릭의 점수를 매기기 위해 사용하는 기본 제공 프롬프트:
GPT-Similarity, as a metric, measures the similarity between the predicted answer and the correct answer. If the information and content in the predicted answer is similar or equivalent to the correct answer, then the value of the Equivalence metric should be high, else it should be low. Given the question, correct answer, and predicted answer, determine the value of Equivalence metric using the following rating scale:
One star: the predicted answer is not at all similar to the correct answer
Two stars: the predicted answer is mostly not similar to the correct answer
Three stars: the predicted answer is somewhat similar to the correct answer
Four stars: the predicted answer is mostly similar to the correct answer
Five stars: the predicted answer is completely similar to the correct answer
This rating value should always be an integer between 1 and 5. So the rating produced should be 1 or 2 or 3 or 4 or 5.
기존의 기계 학습: F1 점수
| 점수 특징 | 점수 정보 |
|---|---|
| 점수 범위 | 실수 [0-1] |
| 어떤 메트릭인가요? | 모델이 생성한 답변과 참값 답변에 공통적으로 나온 단어 수의 비율을 측정합니다. |
| 작동 방식 | F1 점수는 모델이 생성한 답변과 참값 답변에 공통적으로 나온 단어 수의 비율을 측정합니다. 이 비율은 생성된 답변의 개별 단어를 참값 답변의 개별 단어와 비교하여 계산합니다. 모델이 생성한 답변과 참값 답변에 공통적으로 나온 단어 수는 F1 점수의 기반이 됩니다. 정밀도는 공통적으로 나온 단어 수와 모델이 생성한 총 단어 수의 비율이고, 재현율은 공통적으로 나온 단어 수와 참값에 포함된 총 단어 수의 비율입니다. |
| 언제 사용하나요? | 모델의 답변에서 재현율과 정밀도를 모두 측정하는 하나의 포괄적인 메트릭을 원하는 경우 F1 점수를 사용합니다. F1 점수는 답변에서 정확한 정보를 포착하는 측면에서 모델 성능에 대한 균형 잡힌 평가를 제공합니다. |
| 입력으로 무엇이 필요한가요? | 질문, 참값 답변, 생성된 답변 |