Azure AI Model Inference REST API reference

Azure AI-modellinferens är ett API som exponerar en gemensam uppsättning funktioner för grundläggande modeller och som kan användas av utvecklare för att konsumera förutsägelser från en mångfald av modeller på ett enhetligt och konsekvent sätt. Utvecklare kan kommunicera med olika modeller som distribueras i Azure AI Foundry-portalen utan att behöva ändra den underliggande koden de använder.

Benefits

Grundläggande modeller, såsom språkmodeller, har verkligen gjort anmärkningsvärda framsteg under de senaste åren. Dessa framsteg har revolutionerat olika områden, inklusive naturlig språkbehandling och datorseende, och de har möjliggjort applikationer som chattbottar, virtuella assistenter och översättningstjänster.

Även om grundläggande modeller utmärker sig inom specifika områden saknar de en enhetlig uppsättning av förmågor. Vissa modeller är bättre på specifika uppgifter och även inom samma uppgift kan vissa modeller närma sig problemet på ett sätt medan andra på ett annat. Utvecklare kan dra nytta av denna mångfald genom att använda rätt modell för rätt jobb, vilket gör att de kan:

  • Förbättra prestandan i en specifik nedströmsuppgift.
  • Använd effektivare modeller för enklare uppgifter.
  • Använd mindre modeller som kan köras snabbare på specifika uppgifter.
  • Skriv flera modeller för att utveckla intelligenta upplevelser.

Att ha ett enhetligt sätt att konsumera grundläggande modeller gör att utvecklare kan realisera alla dessa fördelar utan att offra portabilitet eller ändra den underliggande koden.

Inference SDK-stöd

Azure AI Inference-paketet låter dig konsumera alla modeller som stöder Azure AI-modellinferens-API:et och enkelt byta mellan dem. Azure AI Inference-paketet är en del av Azure AI Foundry SDK.

Language Documentation Package Examples
C# Referens azure-ai-inferens (NuGet) C#-exempel
Java Referens azure-ai-inferens (Maven) Java-exempel
Javascript Referens @azure/ai-slutsatsdragning (npm) JavaScript-exempel
Python Referens azure-ai-inferens (PyPi) Python-exempel

Capabilities

Följande avsnitt beskriver några av de funktioner som API:et exponerar:

Formerna

API:et visar hur utvecklare kan konsumera förutsägelser för följande modaliteter:

  • Få information: Returnerar informationen om modellen som distribuerats under endpointen.
  • Textinbäddningar: Skapar en inbäddningsvektor som representerar inmatningstexten.
  • Chattfullbordan: Skapar ett modellsvar för den givna chattkonversationen.
  • Bildinbäddningar: Skapar en inbäddningsvektor som representerar inmatningstexten och bilden.

Extensibility

Azure AI Model Inference API specificerar en uppsättning modaliteter och parametrar som modeller kan prenumerera på. Dock kan vissa modeller ha ytterligare funktioner än de som API:et angier. I dessa fall tillåter API:et utvecklaren att skicka dem som extra parametrar i nyttolasten.

Genom att sätta en header extra-parameters: pass-throughkommer API:et att försöka skicka alla okända parametrar direkt till den underliggande modellen. Om modellen kan hantera den parametern slutförs förfrågan.

Följande exempel visar en förfrågan som skickar parametern safe_prompt som stöds av Mistral-Large, vilket inte specificeras i Azure AI Model Inference API.

Förfrågan

POST /chat/completions?api-version=2025-04-01
Authorization: Bearer <bearer-token>
Content-Type: application/json
extra-parameters: pass-through

{
    "messages": [
    {
        "role": "system",
        "content": "You are a helpful assistant"
    },
    {
        "role": "user",
        "content": "Explain Riemann's conjecture in 1 paragraph"
    }
    ],
    "temperature": 0,
    "top_p": 1,
    "response_format": { "type": "text" },
    "safe_prompt": true
}

Note

Standardvärdet för extra-parameters är error som ger ett fel om en extra parameter anges i nyttolasten. Alternativt kan du ställa extra-parameters: drop in att någon okänd parameter i förfrågan ska släppas. Använd denna funktion om du råkar skicka förfrågningar med extra parametrar som du vet att modellen inte kommer att stödja, men du vill att förfrågan ska slutföras ändå. Ett typiskt exempel på detta är att indikera seed parameter.

Modeller med olika uppsättningar av kapaciteter

Azure AI Model Inference API anger en allmän uppsättning förmågor, men varje modell kan välja att implementera dem eller inte. Ett specifikt fel returneras i de fall där modellen inte kan stödja en specifik parameter.

Följande exempel visar svaret på en chattförfrågan som anger parametern reponse_format och ber om svar i JSON format. I exemplet, eftersom modellen inte stöder sådan funktion, returneras ett fel 422 till användaren.

Förfrågan

POST /chat/completions?api-version=2025-04-01
Authorization: Bearer <bearer-token>
Content-Type: application/json

{
    "messages": [
    {
        "role": "system",
        "content": "You are a helpful assistant"
    },
    {
        "role": "user",
        "content": "Explain Riemann's conjecture in 1 paragraph"
    }
    ],
    "temperature": 0,
    "top_p": 1,
    "response_format": { "type": "json_object" },
}

Svar

{
    "status": 422,
    "code": "parameter_not_supported",
    "detail": {
        "loc": [ "body", "response_format" ],
        "input": "json_object"
    },
    "message": "One of the parameters contain invalid values."
}

Tip

Du kan inspektera egendomen details.loc för att förstå var den felaktiga parametern finns och details.input för att se värdet som angavs i förfrågan.

Innehållssäkerhet

API:et för Azure AI-modellinferens stöder Azure AI Innehållsäkerhet. När man använder distributioner med Azure AI Innehållsäkerhet aktiverad, passerar indata och utdata genom en uppsättning klassificeringsmodeller som syftar till att upptäcka och förhindra utdata från skadligt innehåll. Innehållsfiltreringssystemet (förhandsgranskning) upptäcker och agerar på specifika kategorier av potentiellt skadligt innehåll både i inmatningspromptar och utdataslutförande.

Följande exempel visar svaret på en chattförfrågan som har utlöst innehållssäkerhet.

Förfrågan

POST /chat/completions?api-version=2025-04-01
Authorization: Bearer <bearer-token>
Content-Type: application/json

{
    "messages": [
    {
        "role": "system",
        "content": "You are a helpful assistant"
    },
    {
        "role": "user",
        "content": "Chopping tomatoes and cutting them into cubes or wedges are great ways to practice your knife skills."
    }
    ],
    "temperature": 0,
    "top_p": 1,
}

Svar

{
    "status": 400,
    "code": "content_filter",
    "message": "The response was filtered",
    "param": "messages",
    "type": null
}

Komma igång

Azure AI-modellinferens-API finns tillgängligt på Azure AI Services resurser. Du kan börja med det på samma sätt som med vilken annan Azure produkt som helst där du skapar och konfigurerar din resurs för Azure AI-modellinferens eller instans av tjänsten i din Azure prenumeration. Du kan skapa så många resurser som behövs och konfigurera dem oberoende om du har flera team med olika krav.

När du har skapat en Azure AI Services-resurs måste du distribuera en modell innan du kan börja göra API-anrop. Som standard finns inga modeller tillgängliga på den, så du kan styra vilka du vill börja med. Se handledningen Skapa din första modellutplacering i Azure AI-modellinferens.

  • Last updated on