Sdílet prostřednictvím

Importujte API modelu jazyka

PLATÍ PRO: Všechny úrovně služby správy rozhraní API

Koncové body jazykového modelu kompatibilní s OpenAI můžete importovat do instance služby API Management jako rozhraní API. Můžete také importovat jazykové modely, které nejsou kompatibilní s openAI jako předávací rozhraní API, která předávají požadavky přímo do back-endových koncových bodů. Můžete například chtít spravovat LLM, který sami hostujete nebo který je hostovaný na jiném poskytovateli odvozování než služby Azure AI. Pomocí zásad brány AI a dalších funkcí ve službě API Management můžete zjednodušit integraci, zlepšit pozorovatelnost a zlepšit kontrolu nad koncovými body modelu.

Další informace o správě rozhraní API AI ve službě API Management:

Typy rozhraní API jazykového modelu

Api Management podporuje pro tento scénář dva typy rozhraní API jazykového modelu. Zvolte možnost, která je vhodná pro nasazení modelu. Možnost určuje, jak klienti volají rozhraní API a jak instance služby API Management směruje požadavky na službu AI.

  • Kompatibilní s OpenAI – koncové body jazykového modelu, které jsou kompatibilní s rozhraním API OpenAI. Mezi příklady patří určité modely vystavené poskytovateli odvozování, jako jsou Hugging Face Text Generation Inference (TGI) a Google Gemini API.

    Pro LLM kompatibilní s OpenAI služba API Management nakonfiguruje koncový bod dokončení chatu.

  • Průchod – Koncové body jazykových modelů, které nejsou kompatibilní s rozhraním API OpenAI. Mezi příklady patří modely nasazené v Amazon Bedrocku nebo jiných poskytovatelích.

    Služba API Management konfiguruje operace se zástupnými znaky pro běžné příkazy HTTP. Klienti mohou připojit cesty k operacím se zástupnými znaky a služba API Management předává požadavky do backendu.

Požadavky

  • Existující instance služby API Management. Vytvořte ho, pokud jste to ještě neudělali.
  • Nasazení jazykového modelu v místním prostředí nebo mimo Azure s koncovým bodem rozhraní API

Import rozhraní API jazykového modelu pomocí portálu

Při importu rozhraní LLM API na portálu služba API Management automaticky nakonfiguruje:

  • Backendový zdroj a zásada set-backend-service, které směřují požadavky rozhraní API na koncový bod LLM.
  • (volitelně) Přístup k back-endu LLM pomocí přístupového klíče, který zadáte. Klíč je chráněný jako tajná hodnota pojmenovaná ve službě API Management.
  • (volitelně) Zásady, které vám pomůžou monitorovat a spravovat rozhraní API.

Chcete-li importovat rozhraní API jazykového modelu do služby API Management, postupujte takto:

  1. Na webu Azure Portal přejděte k vaší instanci služby API Management.

  2. V nabídce vlevo v části APIs vyberte APIs>+ Přidat API.

  3. V části Definovat nové rozhraní API vyberte rozhraní API jazykového modelu.

    Snímek obrazovky s vytvořením rozhraní API kompatibilního s OpenAI na portálu

  4. Na kartě Konfigurovat rozhraní API :

    1. Zadejte zobrazovaný název a volitelný popis pro rozhraní API.
    2. Zadejte adresu URL koncového bodu rozhraní LLM API.
    3. Volitelně vyberte jeden nebo více produktů , které chcete přidružit k rozhraní API.
    4. Do pole Cesta přidejte cestu, kterou vaše instance API Management používá pro přístup ke koncovým bodům LLM API.
    5. V části Typ vyberte buď Vytvořit rozhraní API OpenAI nebo Vytvořit předávací rozhraní API. Další informace najdete v tématu Typy rozhraní API jazykového modelu .
    6. V Access key zadejte název autorizační hlavičky a API klíč použitý pro přístup k LLM API, je-li to nutné.
    7. Vyberte Další.

    Snímek obrazovky s konfigurací rozhraní API jazykového modelu na portálu

  5. Na kartě Správa spotřeby tokenů volitelně zadejte nastavení nebo přijměte výchozí hodnoty, které definují následující zásady, které vám pomůžou monitorovat a spravovat rozhraní API:

  6. Na kartě Použít sémantické ukládání do mezipaměti volitelně zadejte nastavení nebo přijměte výchozí hodnoty, které definují zásady, které pomáhají optimalizovat výkon a snížit latenci rozhraní API:

  7. V bezpečí obsahu AI volitelně zadejte nastavení nebo přijměte výchozí nastavení a nakonfigurujte službu Zabezpečení obsahu Azure AI tak, aby blokovala výzvy s nebezpečným obsahem:

  8. Vyberte Zkontrolovat.

  9. Po ověření nastavení vyberte Vytvořit.

API Management vytvoří rozhraní API a nakonfiguruje operace pro koncové body LLM. Ve výchozím nastavení rozhraní API vyžaduje předplatné služby API Management.

Testování rozhraní LLM API

Abyste měli jistotu, že vaše rozhraní LLM API funguje podle očekávání, otestujte ho v testovací konzole služby API Management.

  1. Vyberte rozhraní API, které jste vytvořili v předchozím kroku.

  2. Vyberte kartu Test.

  3. Vyberte operaci, která je kompatibilní s nasazením modelu. Na stránce se zobrazí pole pro parametry a záhlaví.

  4. Podle potřeby zadejte parametry a hlavičky. V závislosti na operaci možná budete muset nakonfigurovat nebo aktualizovat text požadavku.

    Poznámka:

    V testovací konzoli služba API Management automaticky vyplní hlavičku Ocp-Apim-Subscription-Key a nakonfiguruje klíč předplatného pro integrované předplatné s plným přístupem. Tento klíč umožňuje přístup ke každému rozhraní API v instanci služby API Management. Volitelně můžete zobrazit hlavičku Ocp-Apim-Subscription-Key výběrem ikony oka vedle požadavku HTTP.

  5. Vyberte Odeslat.

    Když je test úspěšný, back-end odpoví úspěšným kódem odpovědi HTTP a některými daty. Připojeno k odpovědi je data o využití tokenů, která vám pomůžou monitorovat a spravovat spotřebu tokenů jazykového modelu.

Související obsah

  • Last updated on