Kendi verilerinizi kullanarak modelinizle sohbet etme

  • 3 dakika

Kendi verileriniz üzerinde Azure OpenAI ile RAG, Sohbet oyun alanı ile Azure OpenAI Studio'da veya API kullanılarak kullanılabilir.

Verilerinizde Azure OpenAI bulunan RAG, istemde dizininizdeki arama sonuçlarını içerdiğinden, bunun belirteç bölümünüzü nasıl etkilediğini anlamak önemlidir. Modele yapılan her çağrıda sistem iletisi, kullanıcı istemi, konuşma geçmişi, alınan arama belgeleri, iç istemler ve modelin yanıtı için belirteçler bulunur.

Örneğin sistem iletisi, modele yönelik yönergeler için yararlı bir başvurudur ve her çağrıya eklenir. Sistem iletisi için belirteç sınırı olmasa da, kendi verilerinizi kullanırken sistem iletisi 200 belirteci aşarsa kesilir. Kendi verilerinizi kullanırken modelden gelen yanıt da 1500 belirteçle sınırlıdır.

Bu belirteç sınırlamaları nedeniyle, aramanızdaki hem soru uzunluğunu hem de konuşma geçmişi uzunluğunu sınırlamanız önerilir. Görevi ve düşünce zincirini bölme gibi istem mühendisliği teknikleri modelin daha etkili yanıt vermesine yardımcı olabilir.

API'yi kullanma

API'yi kendi verilerinizle kullanarak, verilerinizin depolandığı veri kaynağını belirtmeniz gerekir. Her çağrıda endpointyapay zeka arama kaynağınız için , keyve indexName eklemeniz gerekir.

İstek gövdesi aşağıdaki JSON'a benzer olacaktır.

{
    "dataSources": [
        {
            "type": "AzureCognitiveSearch",
            "parameters": {
                "endpoint": "<your_search_endpoint>",
                "key": "<your_search_endpoint>",
                "indexName": "<your_search_index>"
            }
        }
    ],
    "messages":[
        {
            "role": "system", 
            "content": "You are a helpful assistant assisting users with travel recommendations."
        },
        {
            "role": "user", 
            "content": "I want to go to New York. Where should I stay?"
        }
    ]
}

Kendi verilerinizi kullanırken yapılan çağrının, içeren extensionsbir temel model çağrılırken kullanılandan farklı bir uç noktaya gönderilmesi gerekir. Aramanız aşağıdakine benzer bir URL'ye gönderilir.

<your_azure_openai_resource>/openai/deployments/<deployment_name>/chat/completions?api-version=<version>

İsteğin ve api-keyöğesini de içermesi Content-Type gerekir.