Chatten Sie mit Ihrem Modell mit Ihren eigenen Daten

  • 3 Minuten

RAG mit Azure OpenAI auf Ihren eigenen Daten kann im Azure AI Studio über den Chat-Playground oder mit der Nutzung der API verwendet werden.

Da RAG mit Azure OpenAI in Ihren Daten Suchergebnisse in Ihrem Index im Prompt einbezieht, ist es wichtig zu verstehen, wie sich dies auf Ihr Token-Kontingent auswirkt. Jeder Aufruf des Modells enthält Token für die Systemnachricht, die Benutzeraufforderung, den Unterhaltungsverlauf, abgerufene Suchdokumente, interne Eingabeaufforderungen und die Antwort des Modells.

Die Systemmeldung ist z. B. eine nützliche Referenz für Anweisungen für das Modell und ist in jedem Anruf enthalten. Obwohl für die Systemnachricht kein Tokenlimit vorhanden ist, wird die Systemnachricht bei Verwendung Ihrer eigenen Daten gekürzt, wenn sie den Tokengrenzwert des Modells überschreitet (der je nach Modell zwischen 400 und 4000 Token variiert). Die Antwort des Modells ist auch auf 1500 Token eingeschränkt, wenn Sie Ihre eigenen Daten verwenden.

Aufgrund dieser Tokenbeschränkungen wird empfohlen, sowohl die Länge der Frage als auch die Länge des Unterhaltungsverlaufs in Ihrem Anruf einzuschränken. Prompt-Engineering-Techniken wie das Aufteilen der Aufgabe und das Chain-of-Thought-Prompting können dem Modell helfen, effektiver zu reagieren.

Verwenden der API

Wenn Sie die API mit Ihren eigenen Daten verwenden, müssen Sie die Datenquelle angeben, in der Ihre Daten gespeichert sind. Bei jedem Aufruf müssen Sie endpoint, key und indexName für die Ressource der KI-Suche einschließen.

Ihr Anforderungstext ähnelt dem folgenden JSON.Your request body will be similar to the following JSON.

{
    "dataSources": [
        {
            "type": "AzureCognitiveSearch",
            "parameters": {
                "endpoint": "<your_search_endpoint>",
                "key": "<your_search_endpoint>",
                "indexName": "<your_search_index>"
            }
        }
    ],
    "messages":[
        {
            "role": "system", 
            "content": "You are a helpful assistant assisting users with travel recommendations."
        },
        {
            "role": "user", 
            "content": "I want to go to New York. Where should I stay?"
        }
    ]
}

Der Anruf bei Verwendung ihrer eigenen Daten muss an einen anderen Endpunkt gesendet werden, als beim Aufrufen eines Basismodells verwendet wird, das extensionsenthält. Ihr Anruf wird an eine URL gesendet, die der folgenden ähnelt.

<your_azure_openai_resource>/openai/deployments/<deployment_name>/chat/completions?api-version=<version>

Die Anforderung muss auch die Content-Type und api-keyenthalten.