데이터 원본 - Elasticsearch(미리 보기)

아티클
10/16/2024

데이터에서 Azure OpenAI를 사용하는 경우 Elasticsearch에 대한 구성 가능한 옵션입니다. 이 데이터 원본은 API 버전 2024-02-15-preview에서 지원됩니다.

속성	Type	필수	설명
`parameters`	매개 변수	True	Elasticsearch를 구성할 때 사용할 매개 변수입니다.
`type`	string	True	`elasticsearch`이어야 합니다.

매개 변수

이름	Type	필수	설명
`endpoint`	string	True	사용할 Elasticsearch 리소스의 절대 엔드포인트 경로입니다.
`index_name`	string	True	참조된 Elasticsearch에서 사용할 인덱스의 이름입니다.
`authentication`	KeyAndKeyIdAuthenticationOptions, EncodedApiKeyAuthenticationOptions 중 하나	True	정의된 데이터 원본에 액세스할 때 사용할 인증 방법입니다.
`embedding_dependency`	DeploymentNameVectorizationSource, EndpointVectorizationSource, ModelIdVectorizationSource 중 하나	False	벡터 검색에 포함되는 종속성입니다. `query_type`이 `vector`인 경우 필요합니다.
`fields_mapping`	FieldsMappingOptions	False	검색 인덱스와 상호 작용할 때 사용할 사용자 지정된 필드 매핑 동작입니다.
`in_scope`	부울 값	False	쿼리를 인덱싱된 데이터 사용으로 제한해야 하는지 여부입니다. 기본값은 `True`입니다.
`query_type`	QueryType	False	Elasticsearch와 함께 사용할 쿼리 형식입니다. 기본값은 `simple`
`role_information`	string	False	응답을 생성할 때 참조해야 하는 컨텍스트와 작동 방식에 대한 지침을 모델에 제공합니다. 도우미의 성격을 설명하고 응답 형식을 지정하는 방법을 알려줄 수 있습니다.
`strictness`	정수	False	검색 관련성 필터링의 구성된 엄격성입니다. 엄격성이 높을수록 정밀도가 높지만 대답의 재현율이 낮습니다. 기본값은 `3`입니다.
`top_n_documents`	정수	False	구성된 쿼리에 대해 기능할 구성된 상위 문서 수입니다. 기본값은 `5`입니다.

키 및 키 ID 인증 옵션

API 키를 사용하는 경우 Azure OpenAI On Your Data에 대한 인증 옵션입니다.

속성	Type	필수	설명
`key`	string	True	인증에 사용할 Elasticsearch 키입니다.
`key_id`	string	True	인증에 사용할 Elasticsearch 키 ID입니다.
`type`	string	True	`key_and_key_id`이어야 합니다.

인코딩된 API 키 인증 옵션

Elasticsearch 인코딩된 API 키를 사용하는 경우 Azure OpenAI On Your Data에 대한 인증 옵션입니다.

속성	Type	필수	설명
`encoded_api_key`	string	True	인증에 사용할 Elasticsearch로 인코딩된 API 키입니다.
`type`	string	True	`encoded_api_key`이어야 합니다.

배포 이름 벡터화 원본

벡터 검색을 적용하는 경우 Azure OpenAI On Your Data에서 사용하는 벡터화 원본의 세부 정보입니다. 이 벡터화 원본은 동일한 Azure OpenAI 리소스의 내부 포함 모델 배포 이름을 기반으로 합니다. 이 벡터화 원본을 사용하면 Azure OpenAI api-key 없이 Azure OpenAI 공용 네트워크에 액세스하지 않고도 벡터 검색을 사용할 수 있습니다.

속성	Type	필수	설명
`deployment_name`	string	True	동일한 Azure OpenAI 리소스 내의 포함 모델의 배포 이름입니다.
`type`	string	True	`deployment_name`이어야 합니다.

엔드포인트 벡터화 원본

벡터 검색을 적용하는 경우 Azure OpenAI On Your Data에서 사용하는 벡터화 원본의 세부 정보입니다. 이 벡터화 원본은 Azure OpenAI 포함 API 엔드포인트를 기반으로 합니다.

속성	Type	필수	설명
`endpoint`	string	True	포함을 검색할 리소스 엔드포인트 URL을 지정합니다. `https://{YOUR_RESOURCE_NAME}.openai.azure.com/openai/deployments/YOUR_DEPLOYMENT_NAME/embeddings` 형식이어야 합니다. api-version 쿼리 매개 변수는 허용되지 않습니다.
`authentication`	ApiKeyAuthenticationOptions	True	지정된 엔드포인트에서 포함을 검색할 때 사용할 인증 옵션을 지정합니다.
`type`	string	True	`endpoint`이어야 합니다.

모델 ID 벡터화 원본

벡터 검색을 적용하는 경우 Azure OpenAI On Your Data에서 사용하는 벡터화 원본의 세부 정보입니다. 이 벡터화 원본은 Elasticsearch 모델 ID를 기반으로 합니다.

속성	Type	필수	설명
`model_id`	string	True	벡터화에 사용할 모델 ID를 지정합니다. 이 모델 ID는 Elasticsearch에서 정의해야 합니다.
`type`	string	True	`model_id`이어야 합니다.

API 키 인증 옵션

API 키를 사용하는 경우 Azure OpenAI On Your Data에 대한 인증 옵션입니다.

속성	Type	필수	설명
`key`	string	True	인증에 사용할 API 키입니다.
`type`	string	True	`api_key`이어야 합니다.

필드 매핑 옵션

구성된 Elasticsearch 리소스를 사용할 때 필드가 처리되는 방식을 제어하는 선택적 설정입니다.

속성	Type	필수	설명
`content_fields`	string[]	False	콘텐츠로 처리해야 하는 인덱스 필드의 이름입니다.
`vector_fields`	string[]	False	벡터 데이터를 나타내는 필드의 이름입니다.
`content_fields_separator`	string	False	콘텐츠 필드에서 사용해야 하는 구분 기호 패턴입니다. 기본값은 `\n`입니다.
`filepath_field`	string	False	파일 경로로 사용할 인덱스 필드의 이름입니다.
`title_field`	string	False	제목으로 사용할 인덱스 필드의 이름입니다.
`url_field`	string	False	URL로 사용할 인덱스 필드의 이름입니다.

쿼리 유형

Azure OpenAI On Your Data와 함께 사용할 때 실행해야 하는 Elasticsearch 검색 쿼리의 형식입니다.

열거형 값	설명
`simple`	기본 단순 쿼리 파서를 나타냅니다.
`vector`	계산된 데이터에 대한 벡터 검색을 나타냅니다.

예제

필수 조건:

사용자에서 Azure OpenAI 리소스로 역할 할당을 구성합니다. 필요한 역할: Cognitive Services OpenAI User.
Az CLI를 설치하고 az login을 실행합니다.
다음 환경 변수 정의: AzureOpenAIEndpoint, ChatCompletionsDeploymentName, SearchEndpoint, IndexName, Key, KeyId.

export AzureOpenAIEndpoint=https://example.openai.azure.com/
export ChatCompletionsDeploymentName=turbo
export SearchEndpoint='https://example.eastus.azurecontainer.io'
export IndexName=testindex
export Key='***'
export KeyId='***'

Python 1.x
REST

최신 pip 패키지 openai, azure-identity를 설치합니다.

import os
from openai import AzureOpenAI
from azure.identity import DefaultAzureCredential, get_bearer_token_provider

endpoint = os.environ.get("AzureOpenAIEndpoint")
deployment = os.environ.get("ChatCompletionsDeploymentName")
index_name = os.environ.get("IndexName")
search_endpoint = os.environ.get("SearchEndpoint")
key = os.environ.get("Key")
key_id = os.environ.get("KeyId")

token_provider = get_bearer_token_provider(
    DefaultAzureCredential(), "https://cognitiveservices.azure.com/.default")

client = AzureOpenAI(
    azure_endpoint=endpoint,
    azure_ad_token_provider=token_provider,
    api_version="2024-02-15-preview",
)

completion = client.chat.completions.create(
    model=deployment,
    messages=[
        {
            "role": "user",
            "content": "Who is DRI?",
        },
    ],
    extra_body={
        "data_sources": [
            {
                "type": "elasticsearch",
                "parameters": {
                    "endpoint": search_endpoint,
                    "index_name": index_name,
                    "authentication": {
                        "type": "key_and_key_id",
                        "key": key,
                        "key_id": key_id
                    }
                }
            }
        ]
    }
)

print(completion.model_dump_json(indent=2))


az rest --method POST \
 --uri $AzureOpenAIEndpoint/openai/deployments/$ChatCompletionsDeploymentName/chat/completions?api-version=2024-02-15-preview \
 --resource https://cognitiveservices.azure.com/ \
 --body \
'
{
    "data_sources": [
      {
        "type": "elasticsearch",
        "parameters": {
          "endpoint": "'$SearchEndpoint'",
          "index_name": "'$IndexName'",
          "authentication": {
            "type": "key_and_key_id",
            "key": "'$Key'",
            "key_id": "'$KeyId'"
          }
        }
      }
    ],
    "messages": [
      {
        "role": "user",
        "content": "Who is DRI?"
      }
    ]
}
'

다음을 통해 공유