Chatta med din modell med dina egna data

  • 3 minuter

RAG med Azure OpenAI på dina egna data kan användas i Azure OpenAI Studio med chattlekplatsen eller med hjälp av API:et.

Eftersom RAG med Azure OpenAI på dina data innehåller sökresultat på ditt index i prompten är det viktigt att förstå hur detta påverkar din tokentilldelning. Varje anrop till modellen innehåller token för systemmeddelandet, användarprompten, konversationshistorik, hämtade sökdokument, interna frågor och modellens svar.

Systemmeddelandet är till exempel en användbar referens för instruktioner för modellen och ingår i varje anrop. Det finns ingen tokengräns för systemmeddelandet, men när du använder dina egna data trunkeras systemmeddelandet om det överskrider 200 token. Svaret från modellen är också begränsat när du använder dina egna data är 1 500 token.

På grund av dessa tokenbegränsningar rekommenderar vi att du begränsar både frågelängden och konversationshistorikens längd i samtalet. Tekniker för fråga efter tekniker som att dela upp uppgiften och tankekedjan kan hjälpa modellen att svara mer effektivt.

Använda API:et

Med hjälp av API:et med dina egna data måste du ange den datakälla där dina data lagras. Med varje anrop måste du inkludera resursen endpoint, keyoch indexName för ai-sökningen.

Begärandetexten liknar följande JSON.

{
    "dataSources": [
        {
            "type": "AzureCognitiveSearch",
            "parameters": {
                "endpoint": "<your_search_endpoint>",
                "key": "<your_search_endpoint>",
                "indexName": "<your_search_index>"
            }
        }
    ],
    "messages":[
        {
            "role": "system", 
            "content": "You are a helpful assistant assisting users with travel recommendations."
        },
        {
            "role": "user", 
            "content": "I want to go to New York. Where should I stay?"
        }
    ]
}

Anropet när du använder dina egna data måste skickas till en annan slutpunkt än vad som används när du anropar en basmodell, som innehåller extensions. Samtalet skickas till en URL som liknar följande.

<your_azure_openai_resource>/openai/deployments/<deployment_name>/chat/completions?api-version=<version>

Begäran måste också innehålla Content-Type och api-key.