Nyelvi modell API importálása

Minden API-kezelési szintre vonatkozik

Az OpenAI-kompatibilis nyelvi modellvégpontokat API-kként importálhatja az API Management-példányba. Olyan nyelvi modelleket is importálhat, amelyek nem kompatibilisek az OpenAI-val átmenő API-kként, amelyek közvetlenül a háttérvégpontokra továbbítják a kéréseket. Előfordulhat például, hogy egy önkiszolgáló, vagy az Azure AI-szolgáltatásoktól eltérő következtetési szolgáltatón üzemeltetett LLM-et szeretne kezelni. Az AI-átjáróházirendek és más képességek használata az API Managementben az integráció egyszerűsítése, a megfigyelhetőség javítása és a modellvégpontok feletti vezérlés javítása érdekében.

További információ az AI API-k kezeléséről az API Managementben:

• AI-átjáró képességei az Azure API Managementben

Nyelvi modell API-típusai

Az API Management ehhez a forgatókönyvhöz kétféle nyelvi modell API-t támogat. Válassza ki a modell üzembe helyezéséhez megfelelő lehetőséget. Ez a beállítás határozza meg, hogy az ügyfelek hogyan hívják meg az API-t, és hogy az API Management-példány hogyan irányítja a kéréseket az AI-szolgáltatáshoz.

• OpenAI-kompatibilis – Az OpenAI API-val kompatibilis nyelvi modellvégpontok. Ilyenek például a következtetési szolgáltatók által közzétett modellek, mint a Hugging Face Text Generation Inference (TGI) és a Google Gemini API.

  OpenAI-kompatibilis LLM esetén az API Management egy csevegés befejezésének végpontjait konfigurálja.

• Átirányítás – Azok az egyéb nyelvi modellvégpontok, amelyek nem kompatibilisek az OpenAI API-val. Ilyenek például az Amazon Bedrockban vagy más szolgáltatókban üzembe helyezett modellek.

  Az API Management helyettesítő műveleteket konfigurál a gyakori HTTP-műveletekhez. Az ügyfelek hozzáfűzhetnek elérési utakat a helyettesítő karakterek műveleteihez, és az API Management átadja a kéréseket a háttérrendszernek.

Előfeltételek

• Egy meglévő API Management-példány. Hozzon létre egyet, amennyiben még nem tette meg.
• Saját üzemeltetésű vagy nem Azure-beli nyelvi modell üzembe helyezése API-végponttal.

Nyelvi modell API importálása a portál használatával

Amikor importálja az LLM API-t a portálon, az API Management automatikusan konfigurálja a következőket:

• Egy háttérerőforrás és egy set-backend-service szabályzat, amely az API-kéréseket az LLM-végpontra irányítja.
• (opcionálisan) Hozzáférés az LLM-háttérrendszerhez egy ön által megadott hozzáférési kulccsal. A kulcs titkos névvel ellátott értékként van védve az API Managementben.
• (opcionálisan) Szabályzatok az API figyeléséhez és kezeléséhez.

Nyelvi modell API importálása az API Managementbe:

1. Az Azure Portalon keresse meg az API Management-példányt.

2. A bal oldali menü API-k alatt válassza az hozzáadása lehetőséget.

3. Az Új API definiálása területen válassza a Language Model API lehetőséget.

   

4. Az API konfigurálása lapon:

   1. Adja meg az API megjelenítendő nevét és opcionális leírását .
   2. Adja meg az LLM API-végpont URL-címét .
   3. Igény szerint válasszon ki egy vagy több, az API-hoz társítandó terméket .
   4. A Pathban fűzze hozzá az API Management-példány által az LLM API-végpontokhoz való hozzáféréshez használt elérési utat.
   5. A Típus mezőben válassza az OpenAI API létrehozása vagy az átengedési API létrehozása lehetőséget. További információkért tekintse meg a nyelvi modell API-típusait .
   6. Az Access-kulcsban adja meg az LLM API eléréséhez használt engedélyezési fejléc nevét és API-kulcsát, ha szükséges.
   7. Válassza a Következőlehetőséget.

   

5. A Jogkivonat-használat kezelése lapon adja meg a beállításokat, vagy fogadja el azokat az alapértelmezett beállításokat, amelyek a következő szabályzatokat határozzák meg az API figyeléséhez és kezeléséhez:

   • Token-felhasználás kezelése
   • Jogkivonatok használatának nyomon követése

6. A Szemantikai gyorsítótárazás alkalmazása lapon adja meg a beállításokat, vagy fogadja el azokat az alapértelmezett beállításokat, amelyek meghatározzák a szabályzatokat az API teljesítményének optimalizálásához és a késés csökkentéséhez:

   • A válaszok szemantikai gyorsítótárazásának engedélyezése

7. Az AI-tartalombiztonság esetében adja meg a beállításokat, vagy fogadja el az alapértelmezett beállításokat az Azure AI Content Safety szolgáltatás konfigurálásához a nem biztonságos tartalommal kapcsolatos kérések blokkolásához:

   • Tartalombiztonsági ellenőrzések kényszerítése LLM-kérelmek esetén

8. Válassza a Véleményezés lehetőséget.

9. A beállítások érvényesítése után válassza a Létrehozás lehetőséget.

Az API Management létrehozza az API-t, és konfigurálja az LLM-végpontok műveleteit. Alapértelmezés szerint az API-nak API Management-előfizetésre van szüksége.

Az LLM API tesztelése

Annak érdekében, hogy az LLM API a várt módon működjön, tesztelje azt az API Management tesztkonzolon.

1. Válassza ki az előző lépésben létrehozott API-t.

2. Kattintson a Teszt fülre.

3. Válasszon ki egy olyan műveletet, amely kompatibilis a modell üzembe helyezésével. A lapon a paraméterek és fejlécek mezői láthatók.

4. Szükség szerint adja meg a paramétereket és a fejléceket. A művelettől függően előfordulhat, hogy konfigurálnia vagy frissítenie kell egy kérelem törzsét.

   Megjegyzés:

   A tesztkonzolon az API Management automatikusan feltölt egy Ocp-Apim-Subscription-Key fejlécet, és konfigurálja a beépített teljes hozzáférésű előfizetés előfizetési kulcsát. Ez a kulcs lehetővé teszi az API Management-példány összes API-jának elérését. Az Ocp-Apim-Subscription-Key fejlécet igény szerint a HTTP-kérés melletti "szem" ikonra kattintva jelenítheti meg.

5. Válassza a Küldés lehetőséget.

   Ha a teszt sikeres, a háttérrendszer egy sikeres HTTP-válaszkóddal és néhány adattal válaszol. A válaszhoz mellékelt tokenhasználati adatok segítenek a nyelvi modell tokenhasználatának monitorozásában és kezelésében.

Kapcsolódó tartalom

• AI-átjáró képességei az Azure API Managementben