Megosztás a következőn keresztül:

Azure AI-modell következtetése – REST API-referencia

Az Azure AI-modell következtetése olyan API, amely az alapmodellek általános képességeit teszi elérhetővé, és amelyeket a fejlesztők a különböző modellek előrejelzéseinek egységes és egységes felhasználására használhatnak fel. A fejlesztők az Azure AI Foundry portálon üzembe helyezett különböző modellekkel beszélgethetnek anélkül, hogy módosítanák az általuk használt mögöttes kódot.

Előnyök

Az alapvető modellek, például a nyelvi modellek, valóban figyelemre méltó lépéseket tettek az elmúlt években. Ezek a fejlesztések számos területet forradalmasítottak, beleértve a természetes nyelvi feldolgozást és a számítógépes látást, és lehetővé tették az olyan alkalmazásokat, mint a csevegőrobotok, a virtuális asszisztensek és a nyelvi fordítási szolgáltatások.

Bár az alapmodellek bizonyos tartományokban kiemelkedőek, nem rendelkeznek egységes képességkészlettel. Egyes modellek jobbak egy adott feladatnál, és még ugyanazon a feladaton belül is előfordulhat, hogy egyes modellek így közelítik meg a problémát, míg mások a másikban. A fejlesztők kihasználhatják ezt a sokféleséget, ha a megfelelő modellt használják a megfelelő feladathoz, lehetővé teszik számukra a következőt:

  • Egy adott alsóbb rétegbeli tevékenység teljesítményének javítása.
  • Hatékonyabb modellek használata egyszerűbb feladatokhoz.
  • Használjon kisebb modelleket, amelyek gyorsabban futtathatók adott feladatokon.
  • Több modell összeállítása intelligens élmények fejlesztéséhez.

Az alapmodellek felhasználásának egységes módja lehetővé teszi a fejlesztők számára, hogy ezeket az előnyöket a hordozhatóság feláldozása vagy az alapul szolgáló kód módosítása nélkül valósítják meg.

KövetkeztetésI SDK-támogatás

Az Azure AI-következtetési csomag lehetővé teszi, hogy az Azure AI-modell következtetési API-t támogató összes modellt felhasználja, és könnyen megváltozzon közöttük. Az Azure AI-következtetési csomag az Azure AI Foundry SDK része.

Nyelv Dokumentáció Csomag Példák
C# referencia azure-ai-inference (NuGet) C#-példák
Jáva referencia azure-ai-inference (Maven) Java-példák
JavaScript referencia @azure/ai-következtetés (npm) JavaScript-példák
Piton referencia azure-ai-inference (PyPi) Python-példák

Képességek

Az alábbi szakasz az API által elérhetővé tesz néhány képességet ismerteti:

Módozatok

Az API azt jelzi, hogy a fejlesztők hogyan használhatják fel az előrejelzéseket az alábbi módokon:

Bővíthetőség

Az Azure AI Model Inference API olyan modalitásokat és paramétereket határoz meg, amelyekre a modellek előfizethetnek. Egyes modellek azonban további képességekkel is rendelkezhetnek, amelyeket az API jelez. Ezekben az esetekben az API lehetővé teszi, hogy a fejlesztő további paraméterekként adja át őket a hasznos adatokban.

A fejléc extra-parameters: pass-throughbeállításával az API megkísérli közvetlenül az alapul szolgáló modellnek átadni az ismeretlen paramétereket. Ha a modell képes kezelni ezt a paramétert, a kérés befejeződik.

Az alábbi példa egy kérést mutat be, amely a Mistral-Large által támogatott safe_prompt paramétert adja át, amely nincs megadva az Azure AI Model Inference API-ban.

kérelem

POST /chat/completions?api-version=2025-04-01
Authorization: Bearer <bearer-token>
Content-Type: application/json
extra-parameters: pass-through

{
    "messages": [
    {
        "role": "system",
        "content": "You are a helpful assistant"
    },
    {
        "role": "user",
        "content": "Explain Riemann's conjecture in 1 paragraph"
    }
    ],
    "temperature": 0,
    "top_p": 1,
    "response_format": { "type": "text" },
    "safe_prompt": true
}

Jegyzet

A extra-parameters alapértelmezett értéke error, amely hibát ad vissza, ha egy további paraméter szerepel a hasznos adatban. Másik lehetőségként beállíthatja extra-parameters: drop, hogy bármely ismeretlen paramétert elvetjen a kérelemben. Használja ezt a képességet arra az esetre, ha olyan extra paraméterekkel rendelkező kéréseket küld, amelyekről tudja, hogy a modell nem támogatott, de azt szeretné, hogy a kérés mindenképpen befejeződjön. Erre tipikus példa a seed paraméter.

Különböző képességekkel rendelkező modellek

Az Azure AI Model Inference API általános képességeket jelez, de mindegyik modell dönthet úgy, hogy implementálja őket. Egy adott hiba jelenik meg azokban az esetekben, amikor a modell nem tud támogatni egy adott paramétert.

Az alábbi példa egy csevegés befejezésére irányuló kérés válaszát mutatja be, amely a reponse_format paramétert jelzi, és választ kér JSON formátumban. A példában, mivel a modell nem támogatja ezt a képességet, a rendszer 422-as hibát ad vissza a felhasználónak.

kérelem

POST /chat/completions?api-version=2025-04-01
Authorization: Bearer <bearer-token>
Content-Type: application/json

{
    "messages": [
    {
        "role": "system",
        "content": "You are a helpful assistant"
    },
    {
        "role": "user",
        "content": "Explain Riemann's conjecture in 1 paragraph"
    }
    ],
    "temperature": 0,
    "top_p": 1,
    "response_format": { "type": "json_object" },
}

Válasz

{
    "status": 422,
    "code": "parameter_not_supported",
    "detail": {
        "loc": [ "body", "response_format" ],
        "input": "json_object"
    },
    "message": "One of the parameters contain invalid values."
}

Borravaló

A tulajdonság details.loc megvizsgálva megismerheti a jogsértő paraméter helyét, és details.input a kérésben átadott érték megtekintéséhez.

Tartalombiztonság

Az Azure AI-modell következtetési API támogatja Azure AI Content Safety. Amikor üzembe helyezéseket használ az Azure AI Content Safety szolgáltatással, a bemenetek és kimenetek besorolási modellek együttesén haladnak át, amelyek célja a káros tartalmak kimenetének észlelése és megakadályozása. A tartalomszűrési (előzetes verzió) rendszer észleli és műveletet hajt végre a potenciálisan káros tartalmak meghatározott kategóriáiban mind a bemeneti kérésekben, mind a kimeneti befejezésekben.

Az alábbi példa a tartalombiztonságot aktiváló csevegés-befejezési kérés válaszát mutatja be.

kérelem

POST /chat/completions?api-version=2025-04-01
Authorization: Bearer <bearer-token>
Content-Type: application/json

{
    "messages": [
    {
        "role": "system",
        "content": "You are a helpful assistant"
    },
    {
        "role": "user",
        "content": "Chopping tomatoes and cutting them into cubes or wedges are great ways to practice your knife skills."
    }
    ],
    "temperature": 0,
    "top_p": 1,
}

Válasz

{
    "status": 400,
    "code": "content_filter",
    "message": "The response was filtered",
    "param": "messages",
    "type": null
}

Kezdetekhez

Az Azure AI-modell következtetési API-ja elérhető az Azure AI-szolgáltatások erőforrásaiban. Ugyanúgy kezdheti el, mint bármely más Azure-termék, ahol létrehozni és konfigurálni az erőforrást az Azure AI-modell következtetéséhezvagy szolgáltatáspéldányhoz az Azure-előfizetésben. Tetszőleges számú erőforrást hozhat létre, és egymástól függetlenül konfigurálhatja őket, ha több különböző követelményeket támasztó csapattal rendelkezik.

Miután létrehozott egy Azure AI Services-erőforrást, üzembe kell helyeznie egy modellt, mielőtt elkezdené az API-hívásokat. Alapértelmezés szerint nincsenek rajta modellek, így szabályozhatja, hogy mely modellekből induljon ki. Tekintse meg az oktatóanyagot Az első modell üzembe helyezésének létrehozása az Azure AI-modell következtetési.

  • Last updated on