Datakälla – Elasticsearch (förhandsversion)

Artikel
10/16/2024

De konfigurerbara alternativen för Elasticsearch när du använder Azure OpenAI på dina data. Den här datakällan stöds i API-versionen 2024-02-15-preview.

Namn	Typ	Obligatoriskt	Beskrivning
`parameters`	Parameters	Sant	De parametrar som ska användas när elasticsearch konfigureras.
`type`	sträng	Sant	Måste vara `elasticsearch`.

Parameters

Namn	Typ	Obligatoriskt	Beskrivning
`endpoint`	sträng	Sant	Den absoluta slutpunktssökvägen som Elasticsearch-resursen ska använda.
`index_name`	sträng	Sant	Namnet på indexet som ska användas i den refererade Elasticsearch.
`authentication`	En av KeyAndKeyIdAuthenticationOptions, EncodedApiKeyAuthenticationOptions	Sant	Den autentiseringsmetod som ska användas vid åtkomst till den definierade datakällan.
`embedding_dependency`	En av DeploymentNameVectorizationSource, EndpointVectorizationSource, ModelIdVectorizationSource	Falsk	Inbäddningsberoendet för vektorsökning. Krävs när `query_type` är `vector`.
`fields_mapping`	FieldsMappingOptions	Falsk	Anpassat fältmappningsbeteende som ska användas när du interagerar med sökindexet.
`in_scope`	boolean	Falsk	Om frågor ska begränsas till användning av indexerade data. Standard är `True`.
`query_type`	QueryType	Falsk	Frågetypen som ska användas med Elasticsearch. Standardvärdet är `simple`
`role_information`	sträng	Falsk	Ge modellinstruktionerna om hur den ska bete sig och vilken kontext den ska referera till när du genererar ett svar. Du kan beskriva assistentens personlighet och berätta hur du formaterar svar.
`strictness`	integer	Falsk	Den konfigurerade strängheten för sökrelevansfiltreringen. Ju högre strikthet, desto högre precision men lägre återkallande av svaret. Standard är `3`.
`top_n_documents`	integer	Falsk	Det konfigurerade högsta antalet dokument som ska användas för den konfigurerade frågan. Standard är `5`.

Autentiseringsalternativ för nyckel- och nyckel-ID

Autentiseringsalternativen för Azure OpenAI På dina data när du använder en API-nyckel.

Namn	Typ	Obligatoriskt	Beskrivning
`key`	sträng	Sant	Elasticsearch-nyckeln som ska användas för autentisering.
`key_id`	sträng	Sant	Elasticsearch-nyckel-ID:t som ska användas för autentisering.
`type`	sträng	Sant	Måste vara `key_and_key_id`.

Autentiseringsalternativ för kodad API-nyckel

Autentiseringsalternativen för Azure OpenAI På dina data när du använder en Elasticsearch-kodad API-nyckel.

Namn	Typ	Obligatoriskt	Beskrivning
`encoded_api_key`	sträng	Sant	Elasticsearch-kodad API-nyckel som ska användas för autentisering.
`type`	sträng	Sant	Måste vara `encoded_api_key`.

Distributionsnamnvektoriseringskälla

Information om vektoriseringskällan som används av Azure OpenAI På dina data när du tillämpar vektorsökning. Den här vektoriseringskällan baseras på ett internt distributionsnamn för inbäddningsmodellen i samma Azure OpenAI-resurs. Med den här vektoriseringskällan kan du använda vektorsökning utan Api-nyckel för Azure OpenAI och utan offentlig nätverksåtkomst i Azure OpenAI.

Namn	Typ	Obligatoriskt	Beskrivning
`deployment_name`	sträng	Sant	Distributionsnamnet för inbäddningsmodellen i samma Azure OpenAI-resurs.
`type`	sträng	Sant	Måste vara `deployment_name`.

Slutpunktsvektoriseringskälla

Information om vektoriseringskällan som används av Azure OpenAI På dina data när du tillämpar vektorsökning. Den här vektoriseringskällan baseras på Azure OpenAI-inbäddnings-API-slutpunkten.

Namn	Typ	Obligatoriskt	Beskrivning
`endpoint`	sträng	Sant	Anger resursslutpunkts-URL:en som inbäddningar ska hämtas från. Den ska vara i formatet `https://{YOUR_RESOURCE_NAME}.openai.azure.com/openai/deployments/YOUR_DEPLOYMENT_NAME/embeddings`. Frågeparametern api-version är inte tillåten.
`authentication`	ApiKeyAuthenticationOptions	Sant	Anger de autentiseringsalternativ som ska användas vid hämtning av inbäddningar från den angivna slutpunkten.
`type`	sträng	Sant	Måste vara `endpoint`.

Modell-ID-vektoriseringskälla

Information om vektoriseringskällan som används av Azure OpenAI På dina data när du tillämpar vektorsökning. Den här vektoriseringskällan baseras på Elasticsearch-modell-ID.

Namn	Typ	Obligatoriskt	Beskrivning
`model_id`	sträng	Sant	Anger det modell-ID som ska användas för vektorisering. Det här modell-ID:t måste definieras i Elasticsearch.
`type`	sträng	Sant	Måste vara `model_id`.

Alternativ för API-nyckelautentisering

Autentiseringsalternativen för Azure OpenAI På dina data när du använder en API-nyckel.

Namn	Typ	Obligatoriskt	Beskrivning
`key`	sträng	Sant	API-nyckeln som ska användas för autentisering.
`type`	sträng	Sant	Måste vara `api_key`.

Mappningsalternativ för fält

Valfria inställningar för att styra hur fält bearbetas när du använder en konfigurerad Elasticsearch-resurs.

Namn	Typ	Obligatoriskt	Beskrivning
`content_fields`	string[]	Falsk	Namnen på indexfält som ska behandlas som innehåll.
`vector_fields`	string[]	Falsk	Namnen på fält som representerar vektordata.
`content_fields_separator`	sträng	Falsk	Det avgränsarmönster som innehållsfält ska använda. Standard är `\n`.
`filepath_field`	sträng	Falsk	Namnet på det indexfält som ska användas som en filsökväg.
`title_field`	sträng	Falsk	Namnet på det indexfält som ska användas som rubrik.
`url_field`	sträng	Falsk	Namnet på det indexfält som ska användas som en URL.

Frågetyp

Den typ av Elasticsearch-hämtningsfråga som ska köras när du använder den med Azure OpenAI På dina data.

Uppräkningsvärde	beskrivning
`simple`	Representerar standard, enkel frågeparser.
`vector`	Representerar vektorsökning över beräknade data.

Exempel

Förutsättningar:

Konfigurera rolltilldelningarna från användaren till Azure OpenAI-resursen. Obligatorisk roll: Cognitive Services OpenAI User.
Installera Az CLI och kör az login.
Definiera följande miljövariabler: AzureOpenAIEndpoint, ChatCompletionsDeploymentName, SearchEndpoint, IndexName, , Key. KeyId

export AzureOpenAIEndpoint=https://example.openai.azure.com/
export ChatCompletionsDeploymentName=turbo
export SearchEndpoint='https://example.eastus.azurecontainer.io'
export IndexName=testindex
export Key='***'
export KeyId='***'

Python 1.x
REST

Installera de senaste pip-paketen openai, azure-identity.

import os
from openai import AzureOpenAI
from azure.identity import DefaultAzureCredential, get_bearer_token_provider

endpoint = os.environ.get("AzureOpenAIEndpoint")
deployment = os.environ.get("ChatCompletionsDeploymentName")
index_name = os.environ.get("IndexName")
search_endpoint = os.environ.get("SearchEndpoint")
key = os.environ.get("Key")
key_id = os.environ.get("KeyId")

token_provider = get_bearer_token_provider(
    DefaultAzureCredential(), "https://cognitiveservices.azure.com/.default")

client = AzureOpenAI(
    azure_endpoint=endpoint,
    azure_ad_token_provider=token_provider,
    api_version="2024-02-15-preview",
)

completion = client.chat.completions.create(
    model=deployment,
    messages=[
        {
            "role": "user",
            "content": "Who is DRI?",
        },
    ],
    extra_body={
        "data_sources": [
            {
                "type": "elasticsearch",
                "parameters": {
                    "endpoint": search_endpoint,
                    "index_name": index_name,
                    "authentication": {
                        "type": "key_and_key_id",
                        "key": key,
                        "key_id": key_id
                    }
                }
            }
        ]
    }
)

print(completion.model_dump_json(indent=2))


az rest --method POST \
 --uri $AzureOpenAIEndpoint/openai/deployments/$ChatCompletionsDeploymentName/chat/completions?api-version=2024-02-15-preview \
 --resource https://cognitiveservices.azure.com/ \
 --body \
'
{
    "data_sources": [
      {
        "type": "elasticsearch",
        "parameters": {
          "endpoint": "'$SearchEndpoint'",
          "index_name": "'$IndexName'",
          "authentication": {
            "type": "key_and_key_id",
            "key": "'$Key'",
            "key_id": "'$KeyId'"
          }
        }
      }
    ],
    "messages": [
      {
        "role": "user",
        "content": "Who is DRI?"
      }
    ]
}
'

Dela via