แชทกับแบบจําลองของคุณโดยใช้ข้อมูลของคุณเอง

เสร็จสมบูรณ์เมื่อ

RAG ด้วย Azure OpenAI ด้วยข้อมูลของคุณเองสามารถใช้ใน Azure AI Studio กับ Chat playground หรือโดยใช้ API

ข้อควรพิจารณาของโทเค็นและการตั้งค่าที่แนะนํา

เนื่องจาก RAG ที่มี Azure OpenAI บนข้อมูลของคุณประกอบด้วยผลลัพธ์การค้นหาบนดัชนีของคุณในพร้อมท์ สิ่งสําคัญคือต้องเข้าใจว่าส่งผลกระทบต่อการจัดสรรโทเค็นของคุณอย่างไร การเรียกใช้แต่ละครั้งไปยังแบบจําลองจะมีโทเค็นสําหรับข้อความระบบ พร้อมท์ผู้ใช้ ประวัติการสนทนา ดึงข้อมูลเอกสารการค้นหา พร้อมท์ภายใน และการตอบสนองของแบบจําลอง

ข้อความของระบบ ตัวอย่างเช่น เป็นการอ้างอิงที่มีประโยชน์สําหรับคําแนะนําสําหรับแบบจําลองและรวมอยู่ในการโทรทุกครั้ง แม้ว่าจะไม่มีขีดจํากัดโทเค็นสําหรับข้อความระบบ แต่เมื่อใช้ข้อมูลของคุณเอง ข้อความระบบจะถูกตัดทอนหากเกินขีดจํากัดโทเค็นของแบบจําลอง (ซึ่งจะแตกต่างกันไปตามแบบจําลองจาก 400 ถึง 4000 โทเค็น) การตอบสนองจากแบบจําลองจะถูกจํากัดเมื่อใช้ข้อมูลของคุณเองไปยัง 1500 โทเค็น

เนื่องจากข้อจํากัดโทเค็นเหล่านี้ ขอแนะนําให้คุณจํากัดความยาวของคําถามและความยาวของประวัติการสนทนาในการโทรของคุณ เทคนิควิศวกรรมแบบพร้อมท์ เช่น การแบ่งงานและการแจ้งความคิดแบบสายโซ่สามารถช่วยให้แบบจําลองตอบสนองได้อย่างมีประสิทธิภาพมากขึ้น

การใช้ API

การใช้ API กับข้อมูลของคุณเอง คุณจะต้องระบุแหล่งข้อมูลที่จัดเก็บข้อมูลของคุณ ด้วยการเรียกใช้แต่ละครั้ง คุณจะต้องรวม endpoint, key, และ indexName สําหรับทรัพยากรการค้นหา AI ของคุณ

เนื้อความคําขอของคุณจะคล้ายกับ JSON ต่อไปนี้

{
    "dataSources": [
        {
            "type": "AzureCognitiveSearch",
            "parameters": {
                "endpoint": "<your_search_endpoint>",
                "key": "<your_search_endpoint>",
                "indexName": "<your_search_index>"
            }
        }
    ],
    "messages":[
        {
            "role": "system", 
            "content": "You are a helpful assistant assisting users with travel recommendations."
        },
        {
            "role": "user", 
            "content": "I want to go to New York. Where should I stay?"
        }
    ]
}

การเรียก เมื่อใช้ข้อมูลของคุณเองจะต้องถูกส่งไปยังจุดสิ้นสุดที่แตกต่างจากที่ใช้เมื่อเรียกใช้แบบจําลองพื้นฐาน ซึ่งรวมถึง extensions การเรียกใช้ของคุณจะถูกส่งไปยัง URL ที่คล้ายกับต่อไปนี้

<your_azure_openai_resource>/openai/deployments/<deployment_name>/chat/completions?api-version=<version>

คําขอยังต้องมี Content-Type และ api-keyด้วย