Megjegyzés
Az oldalhoz való hozzáféréshez engedély szükséges. Megpróbálhat bejelentkezni vagy módosítani a címtárat.
Az oldalhoz való hozzáféréshez engedély szükséges. Megpróbálhatja módosítani a címtárat.
Az Azure AI Foundry útválasztó modellje egy telepíthető AI csevegőmodell, amely arra van betanítva, hogy valós időben kiválassza a legjobb nagy nyelvi modellt (LLM) egy adott kérés megválaszolására. A már használatban lévő modellek kombinációját használja a magas teljesítmény biztosítására, miközben lehetőség szerint a számítási költségeken spórol, mindezt egyetlen modell üzembe helyezéseként csomagolva. A modell útválasztó működésével és előnyeivel és korlátaival kapcsolatos további információkért tekintse meg a Modell útválasztók alapfogalmait ismertető útmutatót.
A modellútválasztó ugyanúgy elérhető a Completions API-val, mint ahogyan egyetlen alapmodellt, például a GPT-4-et használnál. A lépések ugyanazok, mint a Csevegés befejezések útmutatóban.
Modell útválasztó-modell üzembe helyezése
Az útválasztó modell egyetlen Azure AI Foundry modellként van csomagolva, amelyet üzembe helyezhet. Kövesse az erőforrás-telepítési útmutató lépéseit. Az Új üzembe helyezés létrehozása lépésben keresse meg model-router a Modellek listában. Jelölje ki, majd végezze el az üzembe helyezés többi lépését.
Megjegyzés:
Vegye figyelembe, hogy az üzembehelyezési beállítások az összes mögöttes csevegőmodellre vonatkoznak, amelyet a modell útválasztója használ.
- Nem kell külön üzembe helyeznie a mögöttes csevegési modelleket. A modell útválasztó függetlenül működik a többi üzembe helyezett modelltől.
- A modell útválasztó-modelljének telepítésekor kiválaszthat egy tartalomszűrőt (vagy később alkalmazhat szűrőt). A rendszer alkalmazza a tartalomszűrőt a modell útválasztójának átadott és onnan érkező összes tartalomra: nem állít be tartalomszűrőket az egyes mögöttes csevegőmodellekhez.
- A tokenek percenkénti sebességkorlátjának beállítása a modell útválasztójához kapcsolódó összes tevékenységre vonatkozik: külön sebességkorlát nem kerül beállításra az egyes mögöttes csevegési modellekre.
Modell útválasztó használata a csevegésekben
A modell útválasztóját ugyanúgy használhatja a csevegés befejezései API-n keresztül, mint más OpenAI-csevegési modelleket. Állítsa be a model paramétert a modell router üzembe helyezésének nevére, és állítsa be a messages paramétert azokra az üzenetekre, amelyeket a modellnek szeretne küldeni.
Az Azure AI Foundry portálon a Modell + végpontok lapon navigálhat a modell útválasztójának üzembe helyezéséhez, és kiválaszthatja azt a modell játszóterére való belépéshez. A játszótéri felületen üzeneteket adhat meg, és megtekintheti a modell válaszait. Minden válaszüzenetben látható, hogy melyik mögöttes modell lett kiválasztva a válaszhoz.
Fontos
Beállíthatja a Temperature paramétereket a Top_P kívánt értékekre (lásd az alapfogalmakat ismertető útmutatót), de vegye figyelembe, hogy az érvelési modellek (o-sorozat) nem támogatják ezeket a paramétereket. Ha a modell útválasztója egy érvelési modellt választ az utasításhoz, figyelmen kívül hagyja a Temperature és Top_P bemeneti paramétereket.
A paraméterek stop, presence_penalty, frequency_penalty, logit_bias és logprobs hasonlóan elvetésre kerülnek az o-sorozatú modelleknél, de más esetekben használják őket.
Fontos
A reasoning_effort paraméter (lásd az érvelési modellek útmutatóját) nem támogatott a modell útválasztójában. Ha a modell útválasztója kiválaszt egy érvelési modellt a parancssorhoz, akkor a kérés összetettsége alapján egy bemeneti értéket is kiválaszt reasoning_effort .
Kimeneti formátum
A modell útválasztó-modelljétől kapott JSON-válasz megegyezik a szokásos csevegéskiteljesítési API-válaszsal. Vegye figyelembe, hogy a "model" mező megmutatja, hogy melyik mögöttes modell lett kiválasztva a kérdés megválaszolásához.
{
"choices": [
{
"content_filter_results": {
"hate": {
"filtered": "False",
"severity": "safe"
},
"protected_material_code": {
"detected": "False",
"filtered": "False"
},
"protected_material_text": {
"detected": "False",
"filtered": "False"
},
"self_harm": {
"filtered": "False",
"severity": "safe"
},
"sexual": {
"filtered": "False",
"severity": "safe"
},
"violence": {
"filtered": "False",
"severity": "safe"
}
},
"finish_reason": "stop",
"index": 0,
"logprobs": "None",
"message": {
"content": "I'm doing well, thank you! How can I assist you today?",
"refusal": "None",
"role": "assistant"
}
}
],
"created": 1745308617,
"id": "xxxx-yyyy-zzzz",
"model": "gpt-4.1-nano-2025-04-14",
"object": "chat.completion",
"prompt_filter_results": [
{
"content_filter_results": {
"hate": {
"filtered": "False",
"severity": "safe"
},
"jailbreak": {
"detected": "False",
"filtered": "False"
},
"self_harm": {
"filtered": "False",
"severity": "safe"
},
"sexual": {
"filtered": "False",
"severity": "safe"
},
"violence": {
"filtered": "False",
"severity": "safe"
}
},
"prompt_index": 0
}
],
"system_fingerprint": "xxxx",
"usage": {
"completion_tokens": 15,
"completion_tokens_details": {
"accepted_prediction_tokens": 0,
"audio_tokens": 0,
"reasoning_tokens": 0,
"rejected_prediction_tokens": 0
},
"prompt_tokens": 21,
"prompt_tokens_details": {
"audio_tokens": 0,
"cached_tokens": 0
},
"total_tokens": 36
}
}
Modell router metrikák monitorozása
Teljesítmény figyelése
A modell útválasztó üzembe helyezésének teljesítményét az Azure Portalon, az Azure Monitorban (AzMon) figyelheti.
- Nyissa meg az Azure OpenAI-erőforrás Monitorozás –>Metrikák lapját az Azure Portalon.
- Szűrjön a modell útválasztó-modelljének üzembehelyezési neve alapján.
- Opcionálisan feloszthatja a metrikákat a mögöttes modellek alapján.
Költségek figyelése
Figyelheti az útválasztó modell költségeit, amely a mögöttes modellek által felmerülő költségek összege.
- Látogasson el az Azure Portal Resource Management ->Cost analysis oldalára.
- Szükség esetén szűrjön az Azure-erőforrás alapján.
- Ezután szűrjön az üzembe helyezés neve szerint: Szűrjön "Címke" szerint, válassza az Üzembe helyezés lehetőséget a címke típusaként, majd válassza ki a modell útválasztójának üzembehelyezési nevét értékként.