Azure AI Model Inference REST API reference

Az Azure AI modell következtetése egy olyan API, amely egy közös képességkészletet tár fel az alapmodellekhez, és amelyet a fejlesztők használhatnak arra, hogy egységes és következetes módon használják a különböző modellek előrejelzéseit. A fejlesztők az Azure AI Foundry portálban telepített különböző modellekkel beszélhetnek anélkül, hogy megváltoztatnák az általuk használt kódot.

Előnyök

Az alapvető modellek, mint például a nyelvi modellek, valóban figyelemre méltó előrelépéseket tettek az utóbbi években. Ezek a fejlesztések forradalmasították számos területet, beleértve a természetes nyelvfeldolgozást és a számítógépes látást, és lehetővé tették olyan alkalmazásokat, mint a chatbotok, virtuális asszisztensek és nyelvfordító szolgáltatások.

Bár az alapmodellek bizonyos területeken kiválóak, hiányzik egységes képességkészletük. Néhány modell jobb egy adott feladatban, és még ugyanazon feladaton is egyesek megközelíthetik a problémát, míg mások másikkal. A fejlesztők profitálhatnak ebből a sokszínűségből, ha a megfelelő modellt alkalmazzák a megfelelő munkához, lehetővé téve számukra, hogy a következőket:

  • Javítsd a teljesítményt egy adott lefelé vezető feladatban.
  • Egyszerűbb feladatokhoz használj hatékonyabb modelleket.
  • Használj kisebb modelleket, amelyek gyorsabban tudnak működni bizonyos feladatokon.
  • Több modellt írjunk össze intelligens élmények fejlesztéséhez.

Az alapmodellek egységes felhasználási módja lehetővé teszi a fejlesztők számára, hogy mindezeket az előnyöket anélkül valósítsák meg, hogy feláldozzák a hordozhatóságot vagy megváltoztatnák az alapkódot.

Következtetés SDK támogatás

Az Azure AI Inference csomag lehetővé teszi, hogy az összes Azure AI modell következtetési API-t támogató modellt felhasználhass, és könnyen válts közöttük. Az Azure AI Inference csomag az Azure AI Foundry SDK része.

Nyelv Documentation Package Examples
C# Utalás azure-ai-következtetés (NuGet) C#-példák
Java Utalás azure-ai-inference (Maven) Java példák
JavaScript Utalás @azure/AI-következtetés (NPM) JavaScript-példák
Python Utalás azure-ai-inference (PyPi) Python példák

Capabilities

Az alábbi szakasz néhány olyan képességet ismertet, amelyeket az API kínál:

Módozatok

Az API azt mutatja, hogyan használhatják a fejlesztők előrejelzéseket a következő módokra:

Extensibility

Az Azure AI Model Inference API olyan modalitásokat és paramétereket határoz meg, amelyekhez a modellek feliratkozhatnak. Ugyanakkor egyes modellek további képességekkel is rendelkezhetnek, mint amiket az API jelöl. Ezekben az esetekben az API lehetővé teszi a fejlesztő számára, hogy ezeket extra paraméterként továbbítsa a payloadban.

Egy fejléc extra-parameters: pass-throughbeállításával az API megpróbálja bármely ismeretlen paramétert közvetlenül továbbítani az alapul szolgáló modellnek. Ha a modell képes kezelni ezt a paramétert, a kérés teljesül.

A következő példa egy kérést mutat, amely a Mistral-Large által támogatott safe_prompt paramétert passzolja, és amely a Azure AI Model Inference API-ban nincs megadva.

kérelem

POST /chat/completions?api-version=2025-04-01
Authorization: Bearer <bearer-token>
Content-Type: application/json
extra-parameters: pass-through

{
    "messages": [
    {
        "role": "system",
        "content": "You are a helpful assistant"
    },
    {
        "role": "user",
        "content": "Explain Riemann's conjecture in 1 paragraph"
    }
    ],
    "temperature": 0,
    "top_p": 1,
    "response_format": { "type": "text" },
    "safe_prompt": true
}

Note

Az alapértelmezett érték extra-parameters , error amely hibát ad vissza, ha a hasznos rendszerben extra paramétert jelölnek. Alternatívaként beállíthatod extra-parameters: drop , hogy bármilyen ismeretlen paramétert dobj ki a kérésből. Használd ezt a képességet, ha véletlenül olyan kéréseket küldesz, amelyek extra paraméterekkel vannak, amiket tudod, hogy a modell nem támogat, de mégis szeretnéd, hogy a kérés befejeződjön. Tipikus példa erre a jelzőparaméter seed .

Modellek, amelyek eltérő képességekkel rendelkeznek

Az Azure AI Model Inference API egy általános képességkészletet jelöl, de minden modell dönthet arról, hogy megvalósítja őket vagy sem. Adott hibát adnak vissza azokban az esetekben, amikor a modell nem tud támogatni egy adott paramétert.

A következő példa a csevegés befejezési kérésére adott válaszot mutatja, amely megmutatja a paramétert reponse_format és válaszkérést formátumban JSON . A példában, mivel a modell nem támogatja ezt a képességet, a felhasználó egy 422-es hibát kap vissza.

kérelem

POST /chat/completions?api-version=2025-04-01
Authorization: Bearer <bearer-token>
Content-Type: application/json

{
    "messages": [
    {
        "role": "system",
        "content": "You are a helpful assistant"
    },
    {
        "role": "user",
        "content": "Explain Riemann's conjecture in 1 paragraph"
    }
    ],
    "temperature": 0,
    "top_p": 1,
    "response_format": { "type": "json_object" },
}

Válasz

{
    "status": 422,
    "code": "parameter_not_supported",
    "detail": {
        "loc": [ "body", "response_format" ],
        "input": "json_object"
    },
    "message": "One of the parameters contain invalid values."
}

Tip

Ellenőrizheted a tulajdonságot details.loc , hogy megértsd a hibás paraméter helyét, és details.input megnézd a kérésben átadott értéket.

Tartalombiztonság

A Azure AI modell következtetési API támogatja az Azure AI Tartalombiztonság. Azure AI Tartalombiztonság telepítések esetén a bemenetek és kimenetek egy osztályozó modell együttesén haladnak át, amelyek célja a káros tartalom kiindulásának felismerése és megelőzése. A tartalomszűrő (előnézeti) rendszer azonosítja és lépéseket tesz bizonyos potenciálisan káros tartalomkategóriákra mind a bemeneti promptokban, mind a kimeneti kitöltésekben.

Az alábbi példa mutatja a csevegés befejezési kérésére adott válaszot, amely a tartalombiztonságot aktiválta.

kérelem

POST /chat/completions?api-version=2025-04-01
Authorization: Bearer <bearer-token>
Content-Type: application/json

{
    "messages": [
    {
        "role": "system",
        "content": "You are a helpful assistant"
    },
    {
        "role": "user",
        "content": "Chopping tomatoes and cutting them into cubes or wedges are great ways to practice your knife skills."
    }
    ],
    "temperature": 0,
    "top_p": 1,
}

Válasz

{
    "status": 400,
    "code": "content_filter",
    "message": "The response was filtered",
    "param": "messages",
    "type": null
}

Kezdő lépések

Az Azure AI modell következtetési API elérhető az Azure AI Services forrásain. Ugyanúgy kezdheted, mint bármely más Azure termék, ahol generálod és konfigurálod az erőforrásodat Azure AI modell következtetésére vagy a szolgáltatás példányára a Azure előfizetésedben. Annyi erőforrást létrehozhatsz, amennyi szükséged van, és függetlenül konfigurálhatod őket, ha több csapatod eltérő igényekkel rendelkezik.

Miután létrehoztál egy Azure AI Services erőforrást, akkor telepítened kell egy modellt, mielőtt elkezdhetnéd az API hívásokat. Alapértelmezés szerint nincs elérhető modell rajta, így eldöntheted, melyikről kezded. Lásd az útmutatót Hozzon létre első modelltelepítésedet Azure AI modell következtetésben című műsorban.

  • Utolsó frissítés időpontja: