Azure Machine Learning의 벡터 저장소(미리 보기)

Important

이 기능은 현재 공개 미리 보기로 제공됩니다. 이 미리 보기 버전은 서비스 수준 계약 없이 제공되며, 프로덕션 워크로드에는 권장되지 않습니다. 특정 기능이 지원되지 않거나 기능이 제한될 수 있습니다.

자세한 내용은 Microsoft Azure Preview에 대한 추가 사용 약관을 참조하세요.

이 문서에서는 RAG(검색 보강 생성)를 수행하는 데 사용할 수 있는 Azure Machine Learning의 벡터 인덱스에 대해 설명합니다. 벡터 인덱스는 숫자 시퀀스로 변환된 개념(데이터)의 숫자 표현인 포함을 저장합니다. 포함을 사용하면 LLM(대규모 언어 모델)이 개념 간의 관계를 이해할 수 있습니다. 벡터 저장소를 만들어 GPT-4와 같은 LLM에 데이터를 연결하고 데이터를 효율적으로 검색할 수 있습니다.

Azure Machine Learning은 RAG 워크플로에 사용되는 추가 데이터를 포함하는 두 가지 벡터 저장소를 지원합니다.

벡터 저장소	설명	기능 및 사용
Faiss	오픈 소스 라이브러리	- 로컬 파일 기반 저장소 사용 - 최소 비용 발생 - 벡터 전용 데이터 지원 - 개발 및 테스트 지원
Azure AI 검색	Azure PaaS 리소스	- 검색 인덱스로 텍스트 데이터 저장 - 단일 서비스를 사용하여 많은 수의 인덱스 호스트 - 엔터프라이즈 수준 비즈니스 요구 사항 지원 - 하이브리드 정보 검색에 액세스

다음 섹션에서는 이러한 벡터 저장소 작업에 대한 고려 사항을 살펴봅니다.

Faiss 라이브러리

Faiss는 로컬 파일 기반 저장소를 제공하는 오픈 소스 라이브러리입니다. 벡터 인덱스는 Azure Machine Learning 작업 영역의 Azure Storage 계정에 저장됩니다. Faiss로 작업하려면 라이브러리를 다운로드하여 솔루션의 구성 요소로 사용합니다. 인덱스는 로컬로 저장되므로 비용이 최소화됩니다.

Faiss 라이브러리를 벡터 저장소로 사용하여 다음 작업을 수행할 수 있습니다.

• 인덱스 만들기 비용 없이(스토리지 비용으로만) 벡터 데이터를 로컬로 저장

• 메모리의 인덱스 빌드 및 쿼리

• 개별 용도로 복사본 공유 및 애플리케이션에 대한 인덱스 호스팅 구성

• 기본 컴퓨팅 로드 인덱스로 크기 조정

Azure AI 검색

Azure AI 검색(이전 Cognitive Search)은 Azure 구독에서 만드는 전용 Azure PaaS 리소스입니다. 리소스는 검색 인덱스에 저장된 벡터와 텍스트 데이터에 대한 정보 검색을 지원합니다. 프롬프트 흐름은 Azure AI 검색에 저장된 벡터 데이터를 만들고, 채우고, 쿼리할 수 있습니다. 단일 검색 서비스는 RAG 패턴에서 쿼리하고 사용할 수 있는 다수의 인덱스를 호스팅할 수 있습니다.

다음은 벡터 저장소에 Azure AI 검색을 사용하는 것에 관한 몇 가지 핵심 사항입니다.

• 스케일링, 보안 및 가용성에 대한 엔터프라이즈 수준의 비즈니스 요구 사항을 지원합니다.

• 하이브리드 정보 검색에 액세스 벡터 데이터는 벡터가 아닌 데이터와 공존할 수 있습니다. 즉, 인덱싱 및 쿼리에 하이브리드 쿼리 및 의미적 순위 재지정을 비롯한 모든 Azure AI 검색 기능을 사용할 수 있습니다.

• 벡터 지원은 미리 보기로 제공됩니다. 현재 벡터는 외부에서 생성된 다음 인덱싱 및 쿼리 인코딩을 위해 Azure AI 검색에 전달되어야 합니다. 프롬프트 흐름은 이러한 전환을 처리합니다.

AI 검색을 Azure Machine Learning용 벡터 저장소로 사용하려면 검색 서비스가 있어야 합니다. 서비스가 존재하고 개발자에게 액세스 권한을 부여하면 프롬프트 흐름에서 벡터 인덱스로 Azure AI 검색을 선택할 수 있습니다. 프롬프트 흐름은 Azure AI 검색에서 인덱스를 만들고, 원본 데이터에서 벡터를 만들고, 벡터를 인덱스로 보내고, AI 검색에서 유사성 검색을 호출하고, 응답을 반환합니다.

관련 콘텐츠

• Azure Machine Learning 프롬프트 흐름에서 벡터 인덱스 만들기(미리 보기)
• Azure AI 검색의 벡터