Chatování s modelem pomocí vlastních dat

  • 3 min

RAG s Azure OpenAI na vlastních datech můžete použít v Azure AI Studiu s chatovacím hřištěm nebo pomocí rozhraní API.

Vzhledem k tomu, že rag s Azure OpenAI na vašich datech obsahuje výsledky hledání v indexu na příkazovém řádku, je důležité pochopit, jak to ovlivňuje přidělování tokenů. Každé volání modelu zahrnuje tokeny pro systémovou zprávu, výzvu uživatele, historii konverzací, načtené vyhledávací dokumenty, interní výzvy a odpověď modelu.

Systémová zpráva je například užitečnou referencí pro pokyny pro model a je součástí každého volání. I když systémová zpráva nemá žádné omezení tokenů, při použití vlastních dat se systémová zpráva zkrátí, pokud překročí limit tokenu modelu (který se liší podle modelu, od 400 do 4000 tokenů). Odpověď z modelu je také omezená při použití vlastních dat je 1500 tokenů.

Vzhledem k těmto omezením tokenů se doporučuje omezit délku otázky i délku historie konverzací ve vašem hovoru. Výzvy k technikám , jako je například rozdělení úkolu a řetězu myšlenkových výzev, můžou modelu pomoct efektivněji reagovat.

Použití rozhraní API

Pomocí rozhraní API s vlastními daty je potřeba zadat zdroj dat, ve kterém jsou uložena vaše data. Při každém volání je nutné zahrnout endpointkey, a indexName pro prostředek AI Search.

Text vaší žádosti bude podobný následujícímu kódu JSON.

{
    "dataSources": [
        {
            "type": "AzureCognitiveSearch",
            "parameters": {
                "endpoint": "<your_search_endpoint>",
                "key": "<your_search_endpoint>",
                "indexName": "<your_search_index>"
            }
        }
    ],
    "messages":[
        {
            "role": "system", 
            "content": "You are a helpful assistant assisting users with travel recommendations."
        },
        {
            "role": "user", 
            "content": "I want to go to New York. Where should I stay?"
        }
    ]
}

Volání při použití vlastních dat musí být odesláno do jiného koncového bodu, než se používá při volání základního modelu, který zahrnuje extensions. Vaše volání se odešle na adresu URL podobnou následující.

<your_azure_openai_resource>/openai/deployments/<deployment_name>/chat/completions?api-version=<version>

Žádost bude také muset obsahovat Content-Type api-key