Menggunakan model yang terhubung dengan admin dalam evaluasi cloud

Model yang terhubung dengan admin adalah model yang dihosting di belakang gateway AI perusahaan, seperti Azure API Management atau gateway model AI non-Azure, yang disambungkan administrator ke proyek Foundry Anda. Anda dapat menggunakan model yang terhubung dengan admin untuk skenario evaluasi cloud yang menerima penyebaran model.

Foundry menyelesaikan titik akhir koneksi dan autentikasi, termasuk kunci API, identitas terkelola, atau autentikasi OAuth 2.0. Permintaan evaluasi Anda mereferensikan koneksi dan penyebaran, bukan titik akhir gateway atau kredensialnya.

Important

Evaluasi cloud hanya mendukung model yang terhubung ke admin jika deployment yang terhubung menyediakan OpenAI Chat Completions API.

Nota

Dukungan untuk model yang terhubung ke admin dalam evaluasi cloud masih dalam pratinjau dan mungkin tidak tersedia di semua wilayah.

Prasyarat

• Sebuah proyek Foundry.
• Peran Pengguna Foundry pada proyek Foundry.
• Seorang administrator telah membuat koneksi gateway model AI Azure API Management atau non-Azure pada sumber daya Foundry Anda dan menambahkan model pada tab Kelola>>Model yang dihubungkan admin. Untuk petunjuk penyiapan, lihat Bawa model Anda sendiri ke Foundry Agent Service.
• Nama koneksi dan nama deployment untuk model yang mendukung OpenAI Chat Completions API.

Mereferensikan model yang terhubung dengan admin

Gunakan format berikut di mana saja skenario evaluasi yang didukung menerima penyebaran model:

<connection-name>/<deployment-name>

Tabel berikut ini memperlihatkan permukaan evaluasi umum dan bidang yang menerima referensi:

Skenario	Ladang
Evaluator yang dibantu AI (hakim)	initialization_parameters.model
Model sasaran	target.model
Simulasi percakapan	item_generation_params.model

Gunakan model yang terhubung ke admin sebagai model juri evaluator

Atur initialization_parameters.model saat Anda mengonfigurasi evaluator yang dibantu AI. Contoh ini menggunakan model yang terhubung dengan admin sebagai hakim untuk evaluator koherensi:

Python

from azure.ai.projects.models import TestingCriterionAzureAIEvaluator

admin_connected_model = "my-apim-connection/gpt-4o"

testing_criteria = [
    TestingCriterionAzureAIEvaluator(
        type="azure_ai_evaluator",
        name="coherence",
        evaluator_name="builtin.coherence",
        initialization_parameters={"model": admin_connected_model},
        data_mapping={
            "query": "{{item.query}}",
            "response": "{{item.response}}",
        },
    ),
]

JavaScript/TypeScript

const adminConnectedModel = "my-apim-connection/gpt-4o";

const testingCriteria = [
    {
        type: "azure_ai_evaluator",
        name: "coherence",
        evaluator_name: "builtin.coherence",
        initialization_parameters: { model: adminConnectedModel },
        data_mapping: {
            query: "{{item.query}}",
            response: "{{item.response}}",
        },
    },
];

• Referensi: TestingCriterionAzureAIEvaluator (Python)
• Referensi: OpenAI Evals API (testing_criteria, kedua bahasa)

Gunakan model yang terhubung ke admin sebagai target

Atur target.model untuk mengirim setiap input evaluasi ke model yang terhubung dengan admin:

Python

admin_connected_model = "my-apim-connection/gpt-4o"

target = {
    "type": "azure_ai_model",
    "model": admin_connected_model,
    "sampling_params": {
        "top_p": 1.0,
        "max_completion_tokens": 2048,
    },
}

JavaScript/TypeScript

const adminConnectedModel = "my-apim-connection/gpt-4o";

const target = {
    type: "azure_ai_model",
    model: adminConnectedModel,
    sampling_params: {
        top_p: 1.0,
        max_completion_tokens: 2048,
    },
};

• Referensi: OpenAI Evals API (data_source.target, kedua bahasa)

Gunakan target ini dengan alur evaluasi target model yang dijelaskan dalam Menjalankan evaluasi di cloud.

Menggunakan skenario evaluasi lainnya

Skenario berbasis model lainnya dalam Menjalankan evaluasi di cloud dengan menggunakan Microsoft Foundry SDK berfungsi sama dengan model yang terhubung dengan admin. Di mana pun skenario menerima penyebaran model yang didukung, ganti nama penyebaran dengan <connection-name>/<deployment-name>. Misalnya, simulasi percakapan menerima referensi ini di item_generation_params.model.

Jaga agar titik akhir proyek Foundry tidak berubah, dan jangan tambahkan titik akhir gateway atau kredensial ke permintaan evaluasi. Foundry menyelesaikan nilai-nilai tersebut dari koneksi model yang terhubung dengan admin.

Nota

Model yang terhubung dengan admin tidak tersedia untuk pembuatan data sintetis.

Konten terkait

• Jalankan evaluasi di cloud dengan menggunakan Microsoft Foundry SDK
• Bawa model Anda sendiri ke Foundry Agent Service