다음을 통해 공유

Azure Databricks에서의 검색 증강 생성(RAG)

RAG(검색 보강 생성)는 LLM(대규모 언어 모델)과 실시간 데이터 검색을 결합하여 보다 정확하고 up-to- 날짜 및 상황에 맞는 응답을 생성하는 강력한 기술입니다.

이 방법은 독점, 자주 변경 또는 도메인 관련 정보에 대한 질문에 답변하는 데 특히 유용합니다.

정보 검색 능력을 강화한 생성이란 무엇인가?

가장 간단한 형식에서 RAG 에이전트는 다음을 수행합니다.

  1. 검색: 사용자의 요청은 벡터 저장소, 키워드 검색 또는 SQL 데이터베이스와 같은 외부 기술 자료를 쿼리하는 데 사용됩니다. 목표는 LLM의 응답에 대한 지원 데이터를 가져오는 것입니다.
  2. 확대: 지원 데이터는 사용자의 요청과 결합되며, 종종 LLM에 대한 추가 서식 및 지침이 있는 템플릿을 사용하여 프롬프트를 만듭니다.
  3. 생성: 프롬프트가 LLM에 전달되어 사용자의 요청에 대한 응답을 생성합니다.

RAG 애플리케이션의 흐름: 사용자 요청에서 데이터 검색 및 응답까지.

RAG 혜택

RAG는 다음과 같은 방법으로 LLM을 개선합니다.

  • 독점 지식: RAG는 도메인 관련 질문에 답변하기 위해 메모, 이메일 및 문서와 같이 LLM을 학습시키는 데 처음에 사용되지 않는 독점 정보를 포함할 수 있습니다.
  • 최신 정보: RAG 애플리케이션은 업데이트된 기술 자료의 정보를 LLM에 제공할 수 있습니다.
  • 출처 인용: RAG를 사용하면 LLM이 특정 출처를 인용할 수 있으므로 사용자가 응답의 사실 정확도를 확인할 수 있습니다.
  • ACL(데이터 보안 및 액세스 제어 목록): 검색 단계는 사용자 자격 증명에 따라 개인 또는 독점 정보를 선택적으로 검색하도록 설계할 수 있습니다.

RAG 구성 요소

일반적인 RAG 애플리케이션에는 다음과 같은 여러 단계가 포함됩니다.

  1. 데이터 파이프라인: 빠르고 정확한 검색을 위해 문서, 테이블 또는 기타 데이터를 사전 처리 및 인덱싱합니다.

  2. RAG 체인(검색, 확대, 생성): 단계의 계열(또는 체인)을 호출하여 다음을 수행합니다.

    • 사용자의 질문을 이해합니다.
    • 지원 데이터를 검색합니다.
    • 지원 데이터로 프롬프트를 보강합니다.
    • 보강된 프롬프트를 사용하여 LLM에서 응답을 생성합니다.

  3. 평가 및 모니터링: RAG 애플리케이션을 평가하여 품질, 비용 및 대기 시간을 확인하여 비즈니스 요구 사항을 충족하는지 확인합니다.

  4. 거버넌스 및 LLMOps: 데이터 계보 및 액세스 제어를 포함하여 각 구성 요소의 수명 주기를 추적하고 관리합니다.

RAG 애플리케이션 구성 요소의 다이어그램

RAG 데이터 형식: 구조화 및 비정형

RAG 아키텍처는 비구조적 또는 구조적 지원 데이터에서 작동할 수 있습니다. RAG에서 사용하는 데이터는 사용 사례에 따라 달라집니다.

비구조적 데이터: 특정 구조나 조직이 없는 데이터입니다.

  • PDF 파일들
  • Google/Office 문서
  • 위키
  • 이미지
  • 동영상

ko-KR: 구조적 데이터: 데이터베이스의 테이블처럼 특정 스키마를 사용하여 행과 열로 정렬된 테이블 형식의 데이터.

  • BI 또는 Data Warehouse 시스템의 고객 레코드
  • SQL Database의 트랜잭션 데이터
  • 응용 프로그램 API의 데이터(예: SAP, Salesforce 등)

평가 및 모니터링

평가 및 모니터링은 RAG 응용 프로그램이 품질, 비용 및 대기 시간 요구 사항을 충족하는지 여부를 결정하는 데 도움이 됩니다. 응용 프로그램이 프로덕션에 배포되면 모니터링이 수행되는 동안 개발 중에 평가가 수행됩니다.

비구조적 데이터에 대한 RAG에는 품질에 영향을 주는 많은 구성 요소가 있습니다. 예를 들어 데이터 서식 변경은 검색된 청크 및 관련 응답을 생성하는 LLM의 기능에 영향을 줄 수 있습니다. 따라서 전체 애플리케이션 외에도 개별 구성 요소를 평가하는 것이 중요합니다.

자세한 내용은 MLflow 2(Mosaic AI 에이전트 평가)를 참조하세요.

Databricks의 RAG

Databricks는 다음을 포함하여 RAG 개발을 위한 엔드 투 엔드 플랫폼을 제공합니다.

다음 단계