Sdílet prostřednictvím

Rozhraní API pro odvozování modelů Azure AI | Azure AI Studio

  • Článek

Důležité

Některé funkce popsané v tomto článku můžou být dostupné jenom ve verzi Preview. Tato verze Preview je poskytována bez smlouvy o úrovni služeb a nedoporučujeme ji pro produkční úlohy. Některé funkce se nemusí podporovat nebo mohou mít omezené možnosti. Další informace najdete v dodatečných podmínkách použití pro verze Preview v Microsoft Azure.

Odvozování modelů Azure AI je rozhraní API, které zpřístupňuje společnou sadu funkcí pro základní modely a které můžou vývojáři používat k využívání predikcí z různorodé sady modelů jednotným a konzistentním způsobem. Vývojáři můžou mluvit s různými modely nasazenými v Azure AI Studiu beze změny základního kódu, který používají.

Zaměstnanecké výhody

Základní modely, jako jsou jazykové modely, skutečně v posledních letech učinily pozoruhodné kroky. Tyto pokroky způsobily revoluci v různých oblastech, včetně zpracování přirozeného jazyka a počítačového zpracování obrazu, a povolily aplikace, jako jsou chatovací roboti, virtuální asistenti a služby překladu jazyků.

I když základní modely excelují v konkrétních doménách, nemají jednotnou sadu funkcí. Některé modely jsou lepší v určitém úkolu a dokonce i ve stejném úkolu, některé modely můžou k problému přistupovat jedním způsobem, zatímco jiné v jiném. Vývojáři můžou tuto rozmanitost využít pomocí správného modelu pro správnou úlohu , která jim umožní:

  • Zvýšení výkonu v konkrétní podřízené úloze
  • Efektivnější modely používejte pro jednodušší úlohy.
  • Používejte menší modely, které můžou běžet rychleji u konkrétních úloh.
  • Vytvořte několik modelů pro vývoj inteligentních prostředí.

Jednotné využívání základních modelů umožňuje vývojářům realizovat všechny tyto výhody bez obětování přenositelnosti nebo změny základního kódu.

Dostupnost

Rozhraní API pro odvozování modelů Azure AI je k dispozici v následujících modelech:

Modely nasazené do koncových bodů rozhraní API bez serveru:

Rozhraní API je kompatibilní s nasazeními modelu Azure OpenAI.

Možnosti

Následující část popisuje některé možnosti, které rozhraní API zveřejňuje. Úplnou specifikaci rozhraní API najdete v referenční části.

Modality

Rozhraní API označuje, jak můžou vývojáři využívat předpovědi pro následující způsoby:

Rozšiřitelnost

Rozhraní API pro odvozování modelů Azure AI určuje sadu způsobů a parametrů, které se modely můžou přihlásit k odběru. Některé modely ale můžou mít další možnosti, které rozhraní API označuje. V těchto případech rozhraní API umožňuje vývojáři předat je jako další parametry v datové části.

Když nastavíte hlavičku extra-parameters: allow, rozhraní API se pokusí předat jakýkoli neznámý parametr přímo do základního modelu. Pokud model dokáže tento parametr zpracovat, požadavek se dokončí.

Následující příklad ukazuje požadavek, který předává parametr safe_prompt podporovaný nástrojem Mistral-Large, který není zadaný v rozhraní API pro odvozování modelů Azure AI:

Požádat

POST /chat/completions?api-version=2024-04-01-preview
Authorization: Bearer <bearer-token>
Content-Type: application/json
extra-parameters: allow

{
    "messages": [
    {
        "role": "system",
        "content": "You are a helpful assistant"
    },
    {
        "role": "user",
        "content": "Explain Riemann's conjecture in 1 paragraph"
    }
    ],
    "temperature": 0,
    "top_p": 1,
    "response_format": { "type": "text" },
    "safe_prompt": true
}

Tip

Případně můžete nastavit extra-parameters: drop , aby v požadavku vyhodil jakýkoli neznámý parametr. Tuto funkci použijte v případě, že odesíláte požadavky s dodatečnými parametry, které znáte, ale chcete, aby se požadavek přesto dokončil. Typickým příkladem tohoto parametru je indikující seed parametr.

Modely s různorodou sadou funkcí

Rozhraní API pro odvozování modelů Azure AI označuje obecnou sadu funkcí, ale každý z těchto modelů se může rozhodnout je implementovat nebo ne. V těchto případech se vrátí konkrétní chyba, kdy model nemůže podporovat konkrétní parametr.

Následující příklad ukazuje odpověď na žádost o dokončení chatu označující parametr reponse_format a žádost o odpověď ve JSON formátu. V tomto příkladu se uživateli vrátí chyba 422, protože model takovou schopnost nepodporuje.

Požádat

POST /chat/completions?api-version=2024-04-01-preview
Authorization: Bearer <bearer-token>
Content-Type: application/json

{
    "messages": [
    {
        "role": "system",
        "content": "You are a helpful assistant"
    },
    {
        "role": "user",
        "content": "Explain Riemann's conjecture in 1 paragraph"
    }
    ],
    "temperature": 0,
    "top_p": 1,
    "response_format": { "type": "json_object" },
}

Response

{
    "status": 422,
    "code": "parameter_not_supported",
    "detail": {
        "loc": [ "body", "response_format" ],
        "input": "json_object"
    },
    "message": "One of the parameters contain invalid values."
}

Tip

Vlastnost můžete zkontrolovat details.loc , abyste porozuměli umístění parametru pro přesměrování a details.input zobrazili hodnotu, která byla předána v požadavku.

Bezpečnost obsahu

Rozhraní API pro odvozování modelů Azure AI podporuje zabezpečení obsahu Azure AI. Při použití nasazení s bezpečností obsahu Azure AI se vstupy a výstupy procházejí sadou klasifikačních modelů zaměřených na detekci a zabránění výstupu škodlivého obsahu. Systém filtrování obsahu zjistí a provede akce s konkrétními kategoriemi potenciálně škodlivého obsahu ve vstupních výzev i dokončení výstupu.

Následující příklad ukazuje odpověď na žádost o dokončení chatu, která aktivovala bezpečnost obsahu.

Požádat

POST /chat/completions?api-version=2024-04-01-preview
Authorization: Bearer <bearer-token>
Content-Type: application/json

{
    "messages": [
    {
        "role": "system",
        "content": "You are a helpful assistant"
    },
    {
        "role": "user",
        "content": "Chopping tomatoes and cutting them into cubes or wedges are great ways to practice your knife skills."
    }
    ],
    "temperature": 0,
    "top_p": 1,
}

Response

{
    "status": 400,
    "code": "content_filter",
    "message": "The response was filtered",
    "param": "messages",
    "type": null
}

Začínáme

Rozhraní API pro odvozování modelů Azure AI se v současné době podporuje v modelech nasazených jako koncové body bezserverového rozhraní API. Nasaďte některý z podporovaných modelů do nových koncových bodů bezserverového rozhraní API, abyste mohli začít. Pak můžete rozhraní API využívat následujícími způsoby:

Rozhraní API pro odvozování modelů Azure AI můžete použít ke spuštění vyhodnocení nebo při sestavování pomocí toku výzvy. Vytvořte připojení bezserverového modelu ke koncovému bodu bezserverového rozhraní API a použijte jeho předpovědi. Rozhraní API pro odvozování modelů Azure AI se používá pod kapotou.