Csevegés a modellel a saját adataival

  • 3 perc

A RAG és az Azure OpenAI a saját adataival használható az Azure AI Studióban a csevegési játszótéren vagy az API használatával.

Mivel a RAG és az Azure OpenAI az adatokon az index keresési eredményeit tartalmazza a parancssorban, fontos tisztában lenni azzal, hogy ez milyen hatással van a jogkivonatok kiosztására. A modell minden hívása tartalmaz jogkivonatokat a rendszerüzenethez, a felhasználói kéréshez, a beszélgetési előzményekhez, a lekért keresési dokumentumokhoz, a belső kérésekhez és a modell válaszához.

A rendszerüzenet például hasznos hivatkozás a modell utasításaira, és minden hívás tartalmazza. Bár a rendszerüzenethez nincs jogkivonatkorlát, a rendszerüzenet a saját adatok használatakor csonkolva lesz, ha túllépi a modell jogkivonatkorlátját (ami modellenként változó, 400 és 4000 token között). A modell válasza akkor is korlátozott, ha a saját adatai 1500 tokent használnak.

Ezen jogkivonat-korlátozások miatt javasoljuk, hogy a hívásban korlátozza a kérdés hosszát és a beszélgetési előzmények hosszát. Az olyan gyors mérnöki technikák , mint a feladat lebontása és a gondolati rákérdezés láncolata, segíthetnek a modellnek hatékonyabban reagálni.

Az API használata

Az API saját adatokkal való használatával meg kell adnia azt az adatforrást, amelyben az adatok találhatók. Minden híváshoz tartalmaznia kell a endpoint, keyés indexName az AI Search-erőforrást.

A kérelem törzse a következő JSON-hoz hasonló lesz.

{
    "dataSources": [
        {
            "type": "AzureCognitiveSearch",
            "parameters": {
                "endpoint": "<your_search_endpoint>",
                "key": "<your_search_endpoint>",
                "indexName": "<your_search_index>"
            }
        }
    ],
    "messages":[
        {
            "role": "system", 
            "content": "You are a helpful assistant assisting users with travel recommendations."
        },
        {
            "role": "user", 
            "content": "I want to go to New York. Where should I stay?"
        }
    ]
}

A saját adatok használatakor a hívást egy másik végpontra kell küldeni, mint amelyet az alapmodellek meghívásakor használnak, beleértve a következőket is extensions. A rendszer a következőhöz hasonló URL-címre küldi a hívást.

<your_azure_openai_resource>/openai/deployments/<deployment_name>/chat/completions?api-version=<version>

A kérésnek tartalmaznia kell az és api-keya Content-Type .