확대된 생성 및 인덱스 검색
참고 항목
Azure AI Studio 는 현재 공개 미리 보기로 제공됩니다. 이 미리 보기는 서비스 수준 계약 없이 제공되며 프로덕션 워크로드에는 권장되지 않습니다. 특정 기능이 지원되지 않거나 기능이 제한될 수 있습니다. 자세한 내용은 Microsoft Azure Preview에 대한 추가 사용 약관을 참조하세요.
이 문서에서는 생성 AI에서 RAG(검색 증강 세대) 및 인덱스(Searchal Augmented Generation)의 중요성과 필요성에 대해 설명합니다.
RAG란?
몇 가지 기본 사항이 먼저 있습니다. ChatGPT와 같은 LLM(대규모 언어 모델)은 학습된 시점에 사용할 수 있었던 공용 인터넷 데이터에 대해 학습됩니다. 학습된 데이터와 관련된 질문에 대답할 수 있습니다. 이 공개 데이터가 모든 요구 사항을 충족하는 데 충분하지 않을 수 있습니다. 개인 데이터를 기반으로 질문에 답변할 수 있습니다. 또는 공용 데이터가 단순히 만료되었을 수 있습니다. 이 문제에 대한 해결 방법은 LLM을 사용하여 사용자 고유의 데이터로 답변을 생성하는 AI에서 사용되는 패턴인 RAG(검색 증강 생성)입니다.
RAG는 어떻게 작동하나요?
RAG은 LLM과 함께 데이터를 사용하여 데이터와 관련된 답변을 생성하는 패턴입니다. 사용자가 질문을 하면 데이터 저장소는 사용자 입력에 따라 검색됩니다. 그런 다음 사용자 질문이 일치하는 결과와 결합되고 프롬프트(AI 또는 기계 학습 모델에 대한 명시적 지침)를 사용하여 LLM으로 전송되어 원하는 답변을 생성합니다. 이 내용은 다음과 같이 설명될 수 있습니다.
인덱스란 무엇이며 왜 필요한가요?
RAG는 데이터를 사용하여 사용자 질문에 대한 답변을 생성합니다. RAG가 제대로 작동하려면 쉽고 비용 효율적인 방식으로 데이터를 검색하고 LLM에 보낼 방법을 찾아야 합니다. 인덱스 사용으로 이 작업을 수행합니다. 인덱스는 데이터를 효율적으로 검색할 수 있는 데이터 저장소입니다. 이는 RAG에서 매우 유용합니다. 인덱스는 벡터(포함 모델을 사용하여 숫자 시퀀스로 변환된 텍스트/데이터)를 만들어 LLM에 최적화할 수 있습니다. 좋은 인덱스는 일반적으로 키워드(keyword) 검색, 의미 체계 검색, 벡터 검색 또는 이러한 조합과 같은 효율적인 검색 기능을 제공합니다. 이 최적화된 RAG 패턴은 다음과 같이 설명될 수 있습니다.
Azure AI는 RAG 패턴과 함께 사용할 인덱스 자산을 제공합니다. 인덱스 자산에는 인덱스가 저장된 위치, 인덱스에 액세스하는 방법, 인덱스를 검색할 수 있는 모드, 인덱스에 벡터가 있는 모드, 벡터에 사용되는 포함 모델 등과 같은 중요한 정보가 포함되어 있습니다. Azure AI Index는 Azure AI Search를 기본/권장 인덱스 저장소로 사용합니다. Azure AI Search는 검색 인덱스에 저장된 벡터 및 텍스트 데이터에 대한 정보 검색을 지원하는 Azure 리소스입니다.
Azure AI Index는 로컬 파일 기반 저장소를 제공하는 오픈 소스 라이브러리인 FAISS(Facebook AI Similarity Search)도 지원합니다. FAISS는 벡터 전용 검색 기능을 지원하며 SDK를 통해서만 지원됩니다.