Azure AI Model Inference REST API reference

Azure AI modelová inference je API, které zpřístupňuje společnou sadu schopností pro základní modely a které mohou vývojáři využít k jednotnému a konzistentnímu zpracování predikcí z rozmanité sady modelů. Vývojáři mohou komunikovat s různými modely nasazenými v portálu Azure AI Foundry, aniž by měnili základní kód, který používají.

Výhody

Základní modely, jako jsou jazykové modely, skutečně v posledních letech dosáhly pozoruhodného pokroku. Tyto pokroky revolučně změnily různé oblasti, včetně zpracování přirozeného jazyka a počítačového vidění, a umožnily aplikace jako chatboti, virtuální asistenti a služby překladu jazyků.

Zatímco základní modely vynikají v určitých oblastech, chybí jim jednotná sada schopností. Některé modely jsou lepší v konkrétním úkolu a i v rámci stejného úkolu některé modely přistupují k problému jedním způsobem, zatímco jiné jiným. Vývojáři mohou z této rozmanitosti těžit tím, že použijí správný model pro správnou práci, což jim umožní:

  • Zlepšujte výkon v konkrétním úkolu v řetězci.
  • Používejte efektivnější modely pro jednodušší úkoly.
  • Používejte menší modely, které mohou běžet rychleji na specifických úkolech.
  • Vytvořte více modelů pro vytváření inteligentních zážitků.

Jednotný způsob využívání základních modelů umožňuje vývojářům využít všechny tyto výhody, aniž by museli obětovat přenosnost nebo měnit základní kód.

Podpora SDK pro inferenci

Balíček Azure AI Inference vám umožňuje využívat všechny modely podporující Azure AI model inference API a snadno mezi nimi měnit. Azure AI Inference je součástí Sada SDK Azure AI Foundry.

Jazyk Documentation Package Examples
jazyk C# Reference azure-ai-inference (NuGet) Příklady jazyka C#
Java Reference azure-ai-inference (Maven) Příklady v Javě
JavaScript Reference @azure/AI-inference (npm) Příklady JavaScriptu
Python Reference azure-ai-inference (PyPi) Příklady Pythonu

Capabilities

Následující sekce popisuje některé z funkcí, které API nabízí:

Způsoby

API ukazuje, jak mohou vývojáři využívat předpovědi pro následující modality:

Extensibility

Azure AI Model Inference API specifikuje sadu modalit a parametrů, ke kterým se mohou modely přihlásit. Některé modely však mohou mít další funkce, než které API uvádí. V těchto případech API umožňuje vývojáři předat je jako dodatečné parametry v užitečném zatížení.

Nastavením hlavičky extra-parameters: pass-throughse API pokusí předat jakýkoli neznámý parametr přímo podkladovému modelu. Pokud model tento parametr zvládne, požadavek je dokončen.

Následující příklad ukazuje požadavek předávající parametr safe_prompt podporovaný Mistral-Large, který není specifikován v API Azure AI Model Inference.

Prosba

POST /chat/completions?api-version=2025-04-01
Authorization: Bearer <bearer-token>
Content-Type: application/json
extra-parameters: pass-through

{
    "messages": [
    {
        "role": "system",
        "content": "You are a helpful assistant"
    },
    {
        "role": "user",
        "content": "Explain Riemann's conjecture in 1 paragraph"
    }
    ],
    "temperature": 0,
    "top_p": 1,
    "response_format": { "type": "text" },
    "safe_prompt": true
}

Note

Výchozí hodnota pro extra-parameters je error , která vrací chybu, pokud je v užitečném zatížení uveden další parametr. Alternativně můžete nastavit extra-parameters: drop , aby v požadavku vynechal jakýkoli neznámý parametr. Použijte tuto schopnost v případě, že posíláte požadavky s dalšími parametry, o kterých víte, že je model nepodporuje, ale chcete, aby se požadavek stejně dokončil. Typickým příkladem je indikační seed parametr.

Modely s různorodou sadou schopností

Azure AI Model Inference API uvádí obecnou sadu schopností, ale každý model se může rozhodnout, zda je implementuje nebo ne. Specifická chyba se vrací v případech, kdy model nemůže podporovat konkrétní parametr.

Následující příklad ukazuje odpověď na požadavek na dokončení chatu, který uvádí parametr reponse_format a žádá odpověď ve formátu JSON . V příkladu, protože model takovou schopnost nepodporuje, je uživateli vrácena chyba 422.

Prosba

POST /chat/completions?api-version=2025-04-01
Authorization: Bearer <bearer-token>
Content-Type: application/json

{
    "messages": [
    {
        "role": "system",
        "content": "You are a helpful assistant"
    },
    {
        "role": "user",
        "content": "Explain Riemann's conjecture in 1 paragraph"
    }
    ],
    "temperature": 0,
    "top_p": 1,
    "response_format": { "type": "json_object" },
}

odpověď

{
    "status": 422,
    "code": "parameter_not_supported",
    "detail": {
        "loc": [ "body", "response_format" ],
        "input": "json_object"
    },
    "message": "One of the parameters contain invalid values."
}

Tip

Můžete si vlastnost details.loc prohlédnout, abyste pochopili polohu problematického parametru a details.input viděli hodnotu, která byla předána v požadavku.

Bezpečnost obsahu

API pro inferenci AI AI podporuje Bezpečnost obsahu Azure AI.Azure Při použití nasazení s zapnutým Bezpečnost obsahu Azure AI prochází vstupy a výstupy souborem klasifikačních modelů zaměřených na detekci a prevenci výstupu škodlivého obsahu. Systém filtrování obsahu (náhled) detekuje a reaguje na konkrétní kategorie potenciálně škodlivého obsahu jak ve vstupních promptech, tak při dokončení výstupu.

Následující příklad ukazuje odpověď na požadavek na dokončení chatu, který spustil bezpečnost obsahu.

Prosba

POST /chat/completions?api-version=2025-04-01
Authorization: Bearer <bearer-token>
Content-Type: application/json

{
    "messages": [
    {
        "role": "system",
        "content": "You are a helpful assistant"
    },
    {
        "role": "user",
        "content": "Chopping tomatoes and cutting them into cubes or wedges are great ways to practice your knife skills."
    }
    ],
    "temperature": 0,
    "top_p": 1,
}

odpověď

{
    "status": 400,
    "code": "content_filter",
    "message": "The response was filtered",
    "param": "messages",
    "type": null
}

Začínáme

Azure AI model inference API je dostupné na zdrojích Azure AI Services. Můžete s tím začít stejně jako s jakýmkoli jiným produktem Azure, kde vytvoříte a nakonfigurujete svůj zdroj pro Azure AI modelové inference, tedy instanci služby, ve vašem Azure předplatném. Můžete vytvořit tolik zdrojů, kolik je potřeba, a nastavit je samostatně, pokud máte více týmů s různými požadavky.

Jakmile vytvoříte Azure AI Services zdroj, musíte nasadit model, než můžete začít volat API. Ve výchozím nastavení na něm nejsou dostupné žádné modely, takže můžete nastavit, ze kterých začnete vycházet. Podívejte se na tutoriál Vytvořte svůj první model nasazení v Azure AI modelové inference.

  • Last updated on