Azure Databricks로 언어 모델 평가

  • 모듈
  • 8 단위
중급
데이터 엔지니어
Azure Databricks

이 모듈에서는 다양한 메트릭 및 접근 방식을 사용하여 대규모 언어 모델 평가를 탐색하고, 평가 과제 및 모범 사례에 대해 알아보고, LLM-as-a-judge 메서드를 비롯한 자동화된 평가 기술을 검색합니다.

학습 목표

이 모듈에서는 다음 방법을 알아봅니다.

  • LLM 평가 모델들을 평가하기
  • LLM 평가와 AI 시스템 평가 간의 관계 설명
  • 정확도, 당황성 및 독성과 같은 표준 LLM 평가 메트릭에 대해 설명합니다.
  • 평가에 대한 LLM-as-a-judge 설명

사전 요구 사항

이 모듈을 시작하려면 먼저 Azure Databricks에 대한 기본 지식이 있어야 합니다. 이 모듈을 시작하기 전에 Azure Databricks 탐색 을 완료하는 것이 좋습니다.

시작