Chatten met uw model met uw eigen gegevens

  • 3 minuten

RAG met Azure OpenAI op uw eigen gegevens kan worden gebruikt in Azure AI Studio met de Chat-speeltuin of met behulp van de API.

Aangezien RAG met Azure OpenAI op uw gegevens zoekresultaten op uw index bevat in de prompt, is het belangrijk om te begrijpen hoe dit van invloed is op uw tokentoewijzing. Elke aanroep naar het model bevat tokens voor het systeembericht, de gebruikersprompt, gespreksgeschiedenis, opgehaalde zoekdocumenten, interne prompts en het antwoord van het model.

Het systeembericht is bijvoorbeeld een nuttige referentie voor instructies voor het model en is opgenomen in elke aanroep. Hoewel er geen tokenlimiet is voor het systeembericht, wordt het systeembericht bij het gebruik van uw eigen gegevens afgekapt als het de tokenlimiet van het model overschrijdt (die per model varieert, van 400 tot 4000 tokens). Het antwoord van het model is ook beperkt wanneer u uw eigen gegevens gebruikt, is 1500 tokens.

Vanwege deze tokenbeperkingen is het raadzaam om zowel de lengte van de vraag als de lengte van de gespreksgeschiedenis in uw gesprek te beperken. Prompt engineering technieken zoals het opsplitsen van de taak en keten van gedachteprompting kan het model helpen effectiever te reageren.

De API gebruiken

Met behulp van de API met uw eigen gegevens moet u de gegevensbron opgeven waarin uw gegevens worden opgeslagen. Bij elke aanroep moet u de endpoint, keyen indexName voor uw AI Search-resource opnemen.

De hoofdtekst van uw aanvraag is vergelijkbaar met de volgende JSON.

{
    "dataSources": [
        {
            "type": "AzureCognitiveSearch",
            "parameters": {
                "endpoint": "<your_search_endpoint>",
                "key": "<your_search_endpoint>",
                "indexName": "<your_search_index>"
            }
        }
    ],
    "messages":[
        {
            "role": "system", 
            "content": "You are a helpful assistant assisting users with travel recommendations."
        },
        {
            "role": "user", 
            "content": "I want to go to New York. Where should I stay?"
        }
    ]
}

De aanroep wanneer u uw eigen gegevens gebruikt, moet worden verzonden naar een ander eindpunt dan wordt gebruikt bij het aanroepen van een basismodel, waaronder extensions. Uw oproep wordt verzonden naar een URL die er ongeveer als volgt uitziet.

<your_azure_openai_resource>/openai/deployments/<deployment_name>/chat/completions?api-version=<version>

De aanvraag moet ook de Content-Type en api-keybevatten.