요약
Tip
자세한 내용은 텍스트 및 이미지 탭을 참조하세요.
이 모듈에서는 Azure Database for PostgreSQL에서 pgvector 확장을 사용하여 벡터 검색 기능을 구현하는 방법을 알아보았습니다. 먼저 확장을 사용하도록 설정하고 벡터 열이 있는 스키마를 디자인하여 다양한 모델의 포함 항목을 저장하고 차원 크기가 스토리지 및 성능에 미치는 영향을 이해했습니다. 유클리드 거리, 코사인 거리 및 내부 곱의 세 가지 거리 연산자를 탐색하고 포함 모델 및 사용 사례에 따라 각각을 적용하는 시기를 알아보았습니다.
또한 IVFFlat 및 HNSW 알고리즘을 사용하여 벡터 인덱스를 만들어 비용이 많이 드는 순차 검사를 가장 가까운 근사 검색으로 변환하는 방법을 알아보았습니다. IVFFlat은 인덱스를 만들기 전에 기존 데이터가 필요하고 목록 및 프로브 매개 변수를 사용하여 속도와 회수의 균형을 맞추는 반면, HNSW는 데이터를 증분 방식으로 인덱싱하고 m, ef_construction 및 ef_search 매개 변수를 사용하여 더 나은 회수를 제공한다는 것을 발견했습니다. EXPLAIN ANALYZE를 사용하여 인덱스 사용량을 확인하고 연산자 클래스를 거리 연산자와 일치하도록 했습니다.
또한 pg_stat_user_indexes 사용하여 인덱스 상태 모니터링, 중요한 데이터 변경 후 인덱스를 다시 작성할 시기 결정, 모든 벡터를 업데이트해야 하는 포함 모델 마이그레이션 처리 등 인덱스 수명 주기 관리 전략을 살펴보았습니다. 벡터 유사성과 메타데이터 필터링, 거리 임계값 및 다중 벡터 쿼리를 결합하는 의미 체계 검색 패턴을 구현했습니다. 마지막으로 원본 문서를 청크에서 분리하는 RAG 파이프라인 스키마를 설계하여 LLM 애플리케이션에 대한 전체 인용 메타데이터를 사용하여 컨텍스트 검색을 사용하도록 설정했습니다.