Megosztás a következőn keresztül:

OpenAI-kompatibilis nyelvi modell API importálása

Minden API-kezelési szintre vonatkozik

Az OpenAI-kompatibilis nyelvi modellvégpontokat API-kként importálhatja az API Management-példányba. Előfordulhat például, hogy egy önkiszolgáló, vagy az Azure AI-szolgáltatásoktól eltérő következtetési szolgáltatón üzemeltetett LLM-et szeretne kezelni. Az AI-átjáróházirendek és más képességek használata az API Managementben az integráció egyszerűsítése, a megfigyelhetőség javítása és a modellvégpontok feletti vezérlés javítása érdekében.

További információ az AI API-k kezeléséről az API Managementben:

Nyelvi modell API-típusai

Az API Management ehhez a forgatókönyvhöz kétféle nyelvi modell API-t támogat. Válassza ki a modell üzembe helyezéséhez megfelelő lehetőséget. Ez a beállítás határozza meg, hogy az ügyfelek hogyan hívják meg az API-t, és hogy az API Management-példány hogyan irányítja a kéréseket az AI-szolgáltatáshoz.

  • OpenAI-kompatibilis – Az OpenAI API-val kompatibilis nyelvi modellvégpontok. Ilyenek például azok a modellek, amelyeket következtetésszolgáltatók, mint például a Hugging Face Text Generation Inference (TGI), bocsátanak rendelkezésre.

    Az API Management egy OpenAI-kompatibilis csevegővégpontot konfigurál.

  • Átirányítás – Azok az egyéb nyelvi modellvégpontok, amelyek nem kompatibilisek az OpenAI API-val. Ilyenek például az Amazon Bedrockban vagy más szolgáltatókban üzembe helyezett modellek.

    Az API Management helyettesítő műveleteket konfigurál a gyakori HTTP-műveletekhez. Az ügyfelek hozzáfűzhetnek elérési utakat a helyettesítő karakterek műveleteihez, és az API Management átadja a kéréseket a háttérrendszernek.

Előfeltételek

Nyelvi modell API importálása a portál használatával

Nyelvi modell API importálása az API Managementbe:

  1. Az Azure Portalon keresse meg az API Management-példányt.

  2. A bal oldali menü API-k alatt válassza az hozzáadása lehetőséget.

  3. Az Új API definiálása területen válassza a Language Model API lehetőséget.

    Képernyőkép egy OpenAI-kompatibilis API portálon való létrehozásáról.

  4. Az API konfigurálása lapon:

    1. Adja meg az API megjelenítendő nevét és opcionális leírását .
    2. Adja meg az LLM API-végpont URL-címét .
    3. Igény szerint válasszon ki egy vagy több, az API-hoz társítandó terméket .
    4. A Pathban fűzze hozzá az API Management-példány által az LLM API-végpontokhoz való hozzáféréshez használt elérési utat.
    5. A Típus mezőben válassza az OpenAI API létrehozása vagy az átengedési API létrehozása lehetőséget. További információkért tekintse meg a nyelvi modell API-típusait .
    6. Az Access-kulcsban adja meg az LLM API eléréséhez használt engedélyezési fejléc nevét és API-kulcsát, ha szükséges.
    7. Válassza a Következőlehetőséget.

    Képernyőkép a nyelvi modell API-konfigurációjáról a portálon.

  5. A Jogkivonat-használat kezelése lapon adja meg a beállításokat, vagy fogadja el azokat az alapértelmezett beállításokat, amelyek a következő szabályzatokat határozzák meg az API figyeléséhez és kezeléséhez:

  6. A Szemantikai gyorsítótárazás alkalmazása lapon adja meg a beállításokat, vagy fogadja el azokat az alapértelmezett beállításokat, amelyek meghatározzák a szabályzatokat az API teljesítményének optimalizálásához és a késés csökkentéséhez:

  7. Az AI-tartalombiztonság esetében adja meg a beállításokat, vagy fogadja el az alapértelmezett beállításokat az Azure AI Content Safety szolgáltatás konfigurálásához a nem biztonságos tartalommal kapcsolatos kérések blokkolásához:

  8. Válassza a Véleményezés lehetőséget.

  9. A beállítások érvényesítése után válassza a Létrehozás lehetőséget.

Az LLM API tesztelése

Annak érdekében, hogy az LLM API a várt módon működjön, tesztelje azt az API Management tesztkonzolon.

  1. Válassza ki az előző lépésben létrehozott API-t.

  2. Kattintson a Teszt fülre.

  3. Válasszon ki egy olyan műveletet, amely kompatibilis a modell üzembe helyezésével. A lapon a paraméterek és fejlécek mezői láthatók.

  4. Szükség szerint adja meg a paramétereket és a fejléceket. A művelettől függően előfordulhat, hogy konfigurálnia vagy frissítenie kell egy kérelem törzsét.

    Megjegyzés:

    A tesztkonzolon az API Management automatikusan feltölt egy Ocp-Apim-Subscription-Key fejlécet, és konfigurálja a beépített teljes hozzáférésű előfizetés előfizetési kulcsát. Ez a kulcs lehetővé teszi az API Management-példány összes API-jának elérését. Az Ocp-Apim-Subscription-Key fejlécet igény szerint a HTTP-kérés melletti "szem" ikonra kattintva jelenítheti meg.

  5. Válassza a Küldés lehetőséget.

    Ha a teszt sikeres, a háttérrendszer egy sikeres HTTP-válaszkóddal és néhány adattal válaszol. A válaszhoz mellékelt tokenhasználati adatok segítenek a nyelvi modell tokenhasználatának monitorozásában és kezelésében.

Kapcsolódó tartalom