使用您自己的數據與模型聊天

  • 3 分鐘

您可以在 Azure AI Studio 中搭配聊天遊樂場或使用 API，在您的資料上使用 RAG 搭配 Azure OpenAI。

資料上的 RAG 搭配 Azure OpenAI 會在提示字元中包含索引上的搜尋結果，因此請務必了解這對語彙基元配置帶來的影響。 每次呼叫模型時，都會包含系統訊息的令牌、使用者提示、交談歷程記錄、擷取的搜尋檔、內部提示，以及模型的回應。

例如，系統訊息是模型指示的實用參考，且隨附於每個呼叫中。 雖然系統訊息沒有令牌限制，但使用您自己的數據時，如果系統訊息超過模型的令牌限制，系統訊息就會遭到截斷（每個模型各有不同，從 400 到 4000 個令牌）。 當使用您自己的數據時，模型的回應會受到限制，最多至1500個令牌。

由於這些令牌限制，建議您限制通話中的問題長度和交談歷程記錄長度。 提示工程技術，例如分解任務和思維提示鏈結，可協助模型更有效率地回應。

使用 API

使用 API 搭配您自己的資料，您必須指定儲存資料的數據來源。 每個呼叫都需要包含 AI 搜尋服務資源的 endpoint、key 和 indexName。

您的請求主體將類似下列 JSON。

{
    "dataSources": [
        {
            "type": "AzureCognitiveSearch",
            "parameters": {
                "endpoint": "<your_search_endpoint>",
                "key": "<your_search_endpoint>",
                "indexName": "<your_search_index>"
            }
        }
    ],
    "messages":[
        {
            "role": "system", 
            "content": "You are a helpful assistant assisting users with travel recommendations."
        },
        {
            "role": "user", 
            "content": "I want to go to New York. Where should I stay?"
        }
    ]
}

使用您自己的資料時，呼叫必須傳送至與呼叫基底模型時所使用的不同端點，其中包括 extensions。 您的通話將會傳送至類似下列的URL。

<your_azure_openai_resource>/openai/deployments/<deployment_name>/chat/completions?api-version=<version>

要求也需要包含 Content-Type 與 api-key。