Bulut değerlendirmelerinde yöneticiye bağlı modelleri kullanma

Yönetici bağlantılı modeller, bir yöneticinin Foundry projenize bağlanıp Azure API Management veya Azure olmayan yapay zeka modeli ağ geçidi gibi kurumsal bir yapay zeka ağ geçidinin arkasında barındırılan modellerdir. Model dağıtımlarını kabul eden bulut değerlendirme senaryoları için yöneticiye bağlı bir model kullanabilirsiniz.

Dökümhane API anahtarı, yönetilen kimlik veya OAuth 2.0 kimlik doğrulaması dahil olmak üzere bağlantı uç noktasını ve kimlik doğrulamasını çözümler. Değerlendirme isteğiniz ağ geçidi uç noktasına veya kimlik bilgilerine değil bağlantıya ve dağıtıma başvurur.

Important

Bulut değerlendirmesi, yöneticiye bağlı modelleri yalnızca bağlı dağıtım OpenAI Sohbet Tamamlamaları API'sini kullanıma sunduğunda destekler.

Note

Bulut değerlendirmesinde yöneticiye bağlı model desteği önizleme aşamasındadır ve tüm bölgelerde kullanılamayabilir.

Prerequisites

  • Dökümhane projesi.
  • Foundry Kullanıcısı rolü, Foundry projesinde.
  • Yönetici, Foundry kaynağınızda bir Azure API Management veya Azure olmayan bir yapay zeka modeli ağ geçidi bağlantısı oluşturmuş ve modeliKaynak ayrıntılarını>yönet>Yöneticiye bağlı modeller sekmesine eklemiştir. Kurulum yönergeleri için bkz. Kendi modelinizi Foundry Agent Service'e getirme.
  • OpenAI Sohbet Tamamlamaları API'sini destekleyen bir modelin bağlantı adı ve dağıtım adı.

Yöneticiye bağlı modele başvurma

Desteklenen bir değerlendirme senaryosu model dağıtımını kabul eder her yerde aşağıdaki biçimi kullanın:

<connection-name>/<deployment-name>

Aşağıdaki tabloda yaygın değerlendirme yüzeyleri ve başvuruyu kabul eden alan gösterilmektedir:

Scenario Alan
Yapay zeka destekli değerlendirici (yargıç) initialization_parameters.model
Modelleme hedefi target.model
Konuşma benzetimi item_generation_params.model

Değerlendirici yargıç modeli olarak yöneticiye bağlı bir model kullanma

Yapay zeka destekli bir değerlendirici yapılandırırken ayarlayın initialization_parameters.model . Bu örnekte, tutarlılık değerlendiricisi için hakim olarak yöneticiye bağlı model kullanılır:

from azure.ai.projects.models import TestingCriterionAzureAIEvaluator

admin_connected_model = "my-apim-connection/gpt-4o"

testing_criteria = [
    TestingCriterionAzureAIEvaluator(
        type="azure_ai_evaluator",
        name="coherence",
        evaluator_name="builtin.coherence",
        initialization_parameters={"model": admin_connected_model},
        data_mapping={
            "query": "{{item.query}}",
            "response": "{{item.response}}",
        },
    ),
]

Yöneticiye bağlı modeli hedef olarak kullanma

Her değerlendirme girişini yöneticiye bağlı modele gönderecek şekilde ayarlayın target.model :

admin_connected_model = "my-apim-connection/gpt-4o"

target = {
    "type": "azure_ai_model",
    "model": admin_connected_model,
    "sampling_params": {
        "top_p": 1.0,
        "max_completion_tokens": 2048,
    },
}

Bu hedefi , Değerlendirmeleri bulutta çalıştırma bölümünde açıklanan model hedef değerlendirme akışıyla kullanın.

Diğer değerlendirme senaryolarını kullanma

Microsoft Foundry SDK'sını kullanarak değerlendirmeleri bulutta çalıştırma'daki diğer model tabanlı senaryolar, yöneticiye bağlı modellerle benzer şekilde çalışır. Senaryonun desteklenen bir model dağıtımını kabul edildiği her yerde dağıtım adını ile <connection-name>/<deployment-name>değiştirin. Örneğin, konuşma benzetimi içinde item_generation_params.modelbu başvuruyı kabul eder.

Foundry proje uç noktasını değiştirmeden tutun ve değerlendirme isteğine ağ geçidi uç noktasını veya kimlik bilgilerini eklemeyin. Dökümhane, yöneticiye bağlı model bağlantısından bu değerleri çözümler.

Note

Yapay veri oluşturma için yöneticiye bağlı model kullanılamaz.

İlgili içerik

  • Last updated on