검색 증강 생성 및 인덱스

Important

이 문서에 설명된 기능 중 일부는 미리 보기로만 제공될 수 있습니다. 이 미리 보기는 서비스 수준 계약 없이 제공되며, 프로덕션 워크로드에는 권장되지 않습니다. 특정 기능이 지원되지 않거나 기능이 제한될 수 있습니다. 자세한 내용은 Microsoft Azure Preview에 대한 추가 사용 약관을 참조하세요.

이 문서에서는 생성 AI에서 RAG(검색 증강 생성) 및 인덱스의 중요성과 필요성에 대해 설명합니다.

RAG란?

몇 가지 기본 사항부터 설명합니다. ChatGPT와 같은 LLM(대규모 언어 모델)은 학습된 시점에 사용할 수 있었던 공용 인터넷 데이터에 대해 학습됩니다. 이 모델은 학습한 데이터와 관련된 질문에 대답할 수 있습니다. 이 공개 데이터가 사용자의 모든 요구 사항을 충족하는 데 충분하지 않을 수 있습니다. 사용자는 사용자의 개인 데이터를 기반으로 한 답변을 원할 수 있습니다. 또는 공용 데이터가 단순히 오래되었을 수 있습니다. 이 문제의 해결 방법이 LLM을 사용하여 사용자 자체 데이터로 답변을 생성하는 AI에서 사용되는 패턴인 RAG(검색 증강 생성)입니다.

RAG는 어떻게 작동하나요?

RAG는 ​​LLM과 함께 데이터를 사용하여 데이터에 특정한 답변을 생성하는 패턴입니다. 사용자가 질문을 하면 사용자 입력을 기반으로 데이터 저장소가 검색됩니다. 그런 다음 사용자 질문이 일치하는 결과와 결합되고, 프롬프트(AI 또는 기계 학습 모델에 대한 명시적 지침)를 사용하여 LLM으로 전송되어 원하는 답변을 생성합니다. 이를 다음과 같이 설명할 수 있습니다.

인덱스란 무엇이며 왜 필요한가요?

RAG는 사용자의 데이터를 사용하여 사용자 질문에 대한 답변을 생성합니다. RAG가 제대로 작동하려면 쉽고 비용 효율적인 방식으로 데이터를 검색하고 LLM에 보낼 방법을 찾아야 합니다. 이는 인덱스를 사용하여 달성됩니다. 인덱스는 데이터를 효율적으로 검색할 수 있는 데이터 저장소입니다. 인덱스는 RAG에서 매우 유용합니다. 벡터(포함 모델을 사용하여 숫자 시퀀스로 변환된 텍스트/데이터)를 만들어 인덱스를 LLM에 최적화할 수 있습니다. 좋은 인덱스는 일반적으로 키워드 검색, 의미 체계 검색, 벡터 검색 또는 이러한 검색의 조합과 같은 효율적인 검색 기능을 제공합니다. 이 최적화된 RAG 패턴은 다음과 같이 설명할 수 있습니다.

Azure AI는 RAG 패턴과 함께 사용할 인덱스 자산을 제공합니다. 인덱스 자산에는 인덱스가 저장된 위치, 인덱스에 액세스하는 방법, 인덱스를 검색할 수 있는 모드, 인덱스에 벡터가 있는지 여부, 벡터에 사용되는 포함 모델 등과 같은 중요한 정보가 포함되어 있습니다. Azure AI 인덱스는 Azure AI 검색을 기본 및 권장 인덱스 저장소로 사용합니다. Azure AI 검색은 검색 인덱스에 저장된 벡터 및 텍스트 데이터에 대한 정보 검색을 지원하는 Azure 리소스입니다.

다음 단계

• 벡터 인덱스 만들기