Nyelvi modell API importálása

Minden API-kezelési szintre vonatkozik

OpenAI-kompatibilis nyelvi modellvégpontokat importálhat az API Management-példányba, vagy átmenő API-kként importálhat nem kompatibilis modelleket. Kezelheti például a saját üzemeltetésű LLM-eket, vagy azokat, amelyek a Foundry Toolstól eltérő következtetési szolgáltatókon futnak. Az AI-átjáróházirendek és más API Management-képességek használatával egyszerűsítheti az integrációt, javíthatja a megfigyelhetőséget, és javíthatja a modellvégpontok feletti vezérlést.

További információ az AI API-k kezeléséről az API Managementben:

• AI-átjáró-képességek az Azure API Managementben

Nyelvi modell API-típusai

Az API Management két nyelvi modell API-típust támogat. Válassza ki a modell üzembe helyezésének megfelelő beállítást, amely meghatározza, hogy az ügyfelek hogyan hívják meg az API-t, és hogy a kérések hogyan jutnak el az AI-szolgáltatáshoz.

• OpenAI-kompatibilis – Az OpenAI API-val kompatibilis nyelvi modellvégpontok. Ilyenek például a Hugging Face Text Generation Inference (TGI) és a Google Gemini API.

  Az API Management konfigurálja a csevegés befejezésének végpontjait.

• Passthrough – A nyelvi modell végpontok nem kompatibilisek az OpenAI API-val. Ilyenek például az Amazon Bedrockban vagy más szolgáltatókban üzembe helyezett modellek.

  Az API Management helyettesítő műveleteket konfigurál a gyakori HTTP-műveletekhez. Az ügyfelek hozzáfűzhetik a helyettesítő karakterek műveleteinek elérési útját, és az API Management átadja a kéréseket a háttérrendszernek.

Előfeltételek

• Egy meglévő API Management-példány. Hozzon létre egyet, amennyiben még nem tette meg.
• Saját üzemeltetésű vagy nem Azure által biztosított nyelvi modell üzembe helyezése API-végponttal.

Nyelvi modell API importálása a portál használatával

Az LLM API importálása automatikusan konfigurálja a következőket:

• Háttérerőforrás és set-backend-service szabályzat, amely a kéréseket az LLM-végpontra irányítja.
• (opcionálisan) Hozzáférés hozzáférési kulccsal (titkos névvel ellátott értékként védett).
• (opcionálisan) Az API figyelésére és kezelésére szolgáló szabályzatok.

Nyelvi modell API importálása:

1. A Azure portálon lépjen az API Management-példányra.

2. A bal oldali menü API-k alatt válassza az hozzáadása lehetőséget.

3. Az Új API definiálása területen válassza a Language Model API lehetőséget.

   

4. Az API konfigurálása lapon:

   1. Adjon meg egy megjelenítendő nevet és leírást (nem kötelező).
   2. Adja meg az LLM API URL-címét.
   3. Válasszon ki egy vagy több terméket az API-hoz társítani (nem kötelező).
   4. Az Elérési úton fűzze hozzá az elérési utat az LLM API eléréséhez.
   5. Válassza az OpenAI API létrehozása vagy az átengedési API létrehozása lehetőséget. Lásd a nyelvi modell API-típusait.
   6. Adja meg az engedélyezési fejléc nevét és az API-kulcsot (ha szükséges).
   7. Válassza a Következőlehetőséget.

   

5. A Jogkivonat-használat kezelése lapon adja meg a beállításokat, vagy fogadja el az alábbi szabályzatok alapértelmezett beállításait:

   • Token-felhasználás kezelése
   • Jogkivonatok használatának nyomon követése

6. A szemantikai gyorsítótárazás alkalmazása lapon adja meg a beállításokat, vagy fogadja el a szabályzat alapértelmezett beállításait a teljesítmény optimalizálásához és a késés csökkentéséhez:

   • A válaszok szemantikai gyorsítótárazásának engedélyezése

7. A AI tartalombiztonság lapon adja meg a beállításokat, vagy fogadja el az alapértelmezett beállításokat a Azure AI Content Safety a nem biztonságos tartalom blokkolásához:

   • Tartalombiztonsági ellenőrzések kényszerítése LLM-kérelmek esetén

8. Válassza a Véleményezés lehetőséget.

9. Az ellenőrzés után válassza a Létrehozás lehetőséget.

Az API Management létrehozza az API-t, és konfigurálja az LLM-végpontok műveleteit. Alapértelmezés szerint az API-nak API Management-előfizetésre van szüksége.

Az LLM API tesztelése

Ellenőrizze az LLM API-t a tesztkonzolon.

1. Válassza ki a létrehozott API-t.

2. Kattintson a Teszt fülre.

3. Válasszon ki egy, a modell központi telepítésével kompatibilis műveletet. Megjelennek a paraméterek és fejlécek mezői.

4. Adja meg a paramétereket és a fejléceket. A művelettől függően szükség szerint konfiguráljon vagy frissítsen egy kérelemtörzset .

   Megjegyzés:

   A tesztkonzol automatikusan hozzáad egy Ocp-Apim-Subscription-Key fejlécet (a beépített teljes hozzáférésű előfizetés használatával), amely hozzáférést biztosít minden API-hoz. A megjelenítéshez válassza a HTTP-kérés melletti "szem" ikont.

5. Válassza a Küldés lehetőséget.

   Ha a teszt sikeres, a háttérrendszer olyan adatokat ad vissza, mint a tokenhasználati metrikák a nyelvi modell használatának figyeléséhez.

Kapcsolódó tartalom

• AI-átjáró-képességek az Azure API Managementben