Quickstart: Maak een AI Gateway-tier (preview) instantie aan

VAN TOEPASSING OP: AI Gateway-tier (preview)

Important

De AI Gateway-tier bevindt zich momenteel in publieke preview. Tijdens de publieke preview is het AI Gateway-niveau beschikbaar in de volgende regio's:

Verenigde Staten - East US 2
Europa - Zweden Centraal

In deze quickstart maak je een AI Gateway tier (preview) instantie, voeg je een chatmodel toe, roep je de gateway aan, maak je een runtime access key en bekijk je telemetrie.

AI Gateway-tier van Azure API Management is een toegewijde tier voor AI-workloads. Het ondersteunt het beheren van verkeer naar modellen — van Microsoft Foundry, Azure OpenAI, AWS Bedrock, Google Vertex, OpenAI, Anthropic of andere providers — en tools die zijn gemaakt van bestaande MCP-servers, OpenAPI-definities of connectors. De AI Gateway-laag wordt snel ingericht, meestal binnen een minuut.

Tijd om te voltooien: ongeveer 20-30 minuten. Je maakt: één gateway, één chatmodel, één runtime-toegangssleutel en één succesvol verzoek om het voltooien van de chat.

Note

Het AI Gateway-niveau is in openbare previewversie. Preview-functies worden aangeboden zonder service-level agreement en mogen niet worden gebruikt voor productieworkloads tenzij uw organisatie de previewvoorwaarden accepteert.

Prerequisites

Een Azure-account met Microsoft Entra ID. Toegang tot de AI Gateway-tier-preview is momenteel beperkt tot Azure-gebruikers die inloggen met Microsoft Entra ID.
Een Azure-abonnement en toestemming om resources aan te maken in een resourcegroep (bijvoorbeeld de rol Contributor).
Toegang tot ten minste één ondersteunde modelprovider, zoals een geïmplementeerd model in Microsoft Foundry of Azure OpenAI.
Als je provider een API-sleutel vereist, zorg dan dat die sleutel beschikbaar is.
Om de gateway aan te roepen, gebruik je curl (geen installatie) of een OpenAI SDK - Python 3.9 of later, of Node.js 18 of later, met het openai pakket.

Het AI Gateway tierportaal is een standalone webervaring - je gebruikt het Azure-portaal niet.

Ga naar het AI Gateway tierportaal op ai.gateway.azure.com.
Selecteer Aanmelden en authenticeren met Microsoft Entra ID.

Gebruik het portaal om modellen, MCP-servers, runtime-toegangssleutels, beleidsregels en monitoring te beheren, gebaseerd op je Entra ID-permissies. Runtime-bellers loggen niet in bij het portaal - ze roepen de gateway aan met runtime-toegangssleutels die je later aanmaakt.

2. Creëer een gateway

Selecteer in het portaal Gateway aanmaken. Selecteer in plaats daarvan een bestaande gateway en ga door naar de volgende stap.
Voer een naam in. De naam wordt onderdeel van het runtime-eindpunt:

https://<gateway>.azure-api.net
Selecteer je abonnement en een ondersteunde previewregio (East US 2 of Sweden Central).
Zet optioneel de Resource-groep onder Geavanceerd. Standaard maakt het portaal er een voor je aan.
Klik op Creëren. Activatie duurt meestal minder dan een minuut.

De gateway is een toegewijde bron in je Azure-abonnement. Je kiest geen capaciteit of voegt schaalunits toe voordat je modellen toevoegt. Voor automatisering is de previewversie van de beheer-API 2026-05-01-preview; runtimeverzoeken gebruiken de hostnaam van de gateway, niet Azure Resource Manager.

3. Voeg een model toe

De snelste manier om een model te maken is door het te importeren van Microsoft Foundry-accounts.

Onder Homeconfigureer je je gateway, kies de optie 'Begin met ' of open de installatiepagina direct bij de /settings/start route.
Selecteer één of meer abonnementen om te scannen . Optioneel kun je een resource group-filter toepassen om de resultaten te verfijnen.
Bekijk de ontdekte accounts. Implementaties worden gegroepeerd op basis van hun ouder Foundry-account (de Azure-resource). De selectie is per account: wanneer je een account selecteert, importeert de wizard al zijn modelimplementaties.
Kies een backend-authenticatiemethode voor deze import:
- Toetsgebaseerd (standaard). De gateway slaat de API-sleutel van het account op en stuurt deze in de api-key header. De wizard haalt de sleutel op tijdens het importeren.
- Beheerde identiteit (Microsoft Entra ID). De gateway authenticeert met zijn beheerde identiteit. Als de gateway geen beheerde identiteit heeft, schakelt de wizard een systeem-toegewezen identiteit in. Als er al een bestaat, kies je welke identiteit je gebruikt. De wizard kent aan de identiteit de rol Foundry User toe voor elk geselecteerd account.
Selecteer Importeren.
Wanneer je Importeren selecteert, voert de wizard een verificatie-eisen uit voor elk geselecteerd account voordat hij iets aanmaakt. Deze controle bevestigt dat authenticatie correct is geconfigureerd en dat modelnamen niet conflicteren met modellen die al op de gateway staan. Accounts die slagen worden geïmporteerd; accounts die niet slagen worden overgeslagen met een inline-waarschuwing, en de rest van het proces wordt voortgezet.

Om verbinding te maken met een niet-Foundry-provider (AWS Bedrock, Google Vertex, OpenAI of Anthropic), kies je in plaats daarvan Add a custom model. Zie Beheren van modellen en tools.

Callers geven de modelnaam door in het model veld van OpenAI-compatibele verzoeken. Deze quickstart gebruikt gpt-5.6-sol; vervang het door het model dat je hebt geregistreerd.

Tip

Om het model direct te proberen, open je de Ontdek-pagina en selecteer je het model om het aan te roepen in de ingebouwde playground. De speeltuin gebruikt de ingebouwde sleutel van de gateway, zodat je toegevoegde modellen of tools kunt verkennen en testen voordat je een runtime-toegangssleutel maakt.

4. Roep de poort

De gateway maakt de API bloot die het backendmodel ondersteunt. Modellen van OpenAI-compatibele providers — zoals Microsoft Foundry, Azure OpenAI, AWS Bedrock, Google Vertex en OpenAI — worden geleverd op een OpenAI-compatibel endpoint. Wijs elke OpenAI-client naar de gateway-basis-URL, stuur een api-key header en geef de modelnaam door in het model veld. Anthropic-modellen gebruiken in plaats daarvan de Anthropic Messages API; zie Beheren van modellen en tools.

Voor een snelle test gebruik je de ingebouwde sleutel van de gateway — dezelfde sleutel die de Discover-speeltuin gebruikt. Kopieer het van de Keys-pagina , waar de ingebouwde sleutel wordt weergegeven naast de API-sleutels die runtime-toegang geven aan elk asset in de gateway. Voor je eigen applicaties maak je in plaats daarvan een runtime access key (zie de volgende sectie).

Stel deze waarden één keer in:

export AI_GATEWAY_BASE_URL="https://<gateway>.azure-api.net/default/models/openai/v1"
export AI_GATEWAY_API_KEY="<gateway-key>"

Tip

Kopieer de exacte basis-URL van de overzichtspagina van je gateway in plaats van deze met de hand te bouwen.

Bel als eerste met de klant van jouw keuze:

curl "$AI_GATEWAY_BASE_URL/chat/completions" \
  -H "Content-Type: application/json" \
  -H "api-key: $AI_GATEWAY_API_KEY" \
  -d '{
    "model": "gpt-5.6-sol",
    "messages": [
      { "role": "system", "content": "You are a helpful assistant." },
      { "role": "user", "content": "Give me three benefits of using an AI gateway." }
    ]
  }'

Om tokens te streamen als server-sent events, voeg "stream": true toe aan de hoofdtekst van de aanvraag.

Installeer de client met pip install openai.

import os
from openai import OpenAI

# The gateway reads the api-key header, not the api_key argument.
client = OpenAI(
    base_url=os.environ["AI_GATEWAY_BASE_URL"],
    api_key="unused",
    default_headers={"api-key": os.environ["AI_GATEWAY_API_KEY"]},
)

response = client.chat.completions.create(
    model="gpt-5.6-sol",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Give me three benefits of using an AI gateway."},
    ],
)
print(response.choices[0].message.content)

Om tokens te streamen terwijl ze worden gegenereerd, voeg je stream=True toe en doorloop je de respons:

stream = client.chat.completions.create(
    model="gpt-5.6-sol",
    messages=[{"role": "user", "content": "Stream a short greeting."}],
    stream=True,
)
for chunk in stream:
    print(chunk.choices[0].delta.content or "", end="", flush=True)

Installeer het pakket met npm install openai.

import OpenAI from "openai";

// The gateway reads the api-key header, not the apiKey argument.
const client = new OpenAI({
  baseURL: process.env.AI_GATEWAY_BASE_URL,
  apiKey: "unused",
  defaultHeaders: { "api-key": process.env.AI_GATEWAY_API_KEY },
});

const response = await client.chat.completions.create({
  model: "gpt-5.6-sol",
  messages: [
    { role: "system", content: "You are a helpful assistant." },
    { role: "user", content: "Give me three benefits of using an AI gateway." },
  ],
});
console.log(response.choices[0].message.content);

Om te streamen voeg je stream: true toe en doorloop je de asynchrone respons.

Elke reactie van het /chat/completions eindpunt gebruikt het OpenAI Chat Completions-formaat, afhankelijk van welke OpenAI-compatibele provider het model ondersteunt.

Een niet-streamende aanroep retourneert een chataanvulling:

{
  "id": "chatcmpl-...",
  "object": "chat.completion",
  "model": "gpt-5.6-sol",
  "choices": [
    {
      "index": 0,
      "message": { "role": "assistant", "content": "1. Centralized governance ...\n2. ...\n3. ..." },
      "finish_reason": "stop"
    }
  ],
  "usage": { "prompt_tokens": 24, "completion_tokens": 61, "total_tokens": 85 }
}

Met streaming ingeschakeld geeft de gateway gebeurtenissen terug:chat.completion.chunk

{
  "id": "chatcmpl-...",
  "object": "chat.completion.chunk",
  "model": "gpt-5.6-sol",
  "choices": [
    { "index": 0, "delta": { "content": "Hello" }, "finish_reason": null }
  ]
}

Dezelfde basis-URL bedient ook de OpenAI Responses API op /responses.

Als een verzoek faalt, geeft de gateway een standaard HTTP-statuscode terug:

Status	Meaning	Wat u moet controleren
400	Ongeldige aanvraag	Controleer de aanvraagtekst.
400	Geblokkeerd door contentveiligheid of een IP-filter, of geweigerd door de backend	Een inhoudsveiligheidsbeleid kan een prompt of reactie blokkeren; Controleer ook het IP-filterbeleid. Voor beheerde identiteit wijs je de Foundry User-rol toe aan de gateway-identiteit op de backend-resource. Zie Gebruik beheerde identiteit voor backend-authenticatie.
401	Ontbrekende of ongeldige runtime-toegangssleutel	Stuur de sleutel in de `api-key` header en bevestig dat de sleutel actief is.
404	Onbekend model	Bevestig dat de `model` waarde overeenkomt met een modelnaam op de Modellenpagina .
429	Beperkt door een tarieflimietbeleid of de backend	Bekijk het beleid voor tokens en aanvraagsnelheidslimieten en respecteer de `Retry-After` responsheader.
5xx	Backendfout	Bevestig dat de backendprovider gezond is en dat de provider-credential geldig is.

De OpenAI SDK's geven getypeerde uitzonderingen voor deze statuscodes, dus je bestaande foutafhandeling werkt:

from openai import AuthenticationError, RateLimitError, APIStatusError

try:
    response = client.chat.completions.create(
        model="gpt-5.6-sol",
        messages=[{"role": "user", "content": "Hello"}],
    )
except AuthenticationError:
    ...  # 401 — check the api-key header and that the key is active
except RateLimitError:
    ...  # 429 — back off and honor the Retry-After header
except APIStatusError as e:
    ...  # inspect e.status_code for 400, 403, 404, or 5xx

5. Maak een runtime toegangssleutel aan

Applicaties authenticeren zich bij de gateway met een runtime access key in plaats van de ingebouwde sleutel. Maak een aparte sleutel aan voor elke applicatie en omgeving.

Selecteer Sleutels.
Selecteer Api-sleutel maken.
Voer een naam in, zoals quickstart-client.
Klik op Creëren.
Kopieer de sleutelwaarde en bewaar deze veilig. Je kunt het later ook opnieuw bekijken op de pagina Sleutels .

Maak runtime-toegangssleutels aan op gateway-niveau. Deze sleutels geven toegang tot elk model en elk hulpmiddel in de gateway. Behandel ze als vertrouwelijke informatie. Sla sleutels op in een geheime opslag voor applicaties, roteer ze regelmatig en trek sleutels in die niet meer nodig zijn. Om de gateway met een runtime-toegangssleutel aan te roepen, stel je AI_GATEWAY_API_KEY in op de waarde ervan in de eerder getoonde oproepen.

6. Zie telemetrie

AI Gateway-laag zendt OpenTelemetrie-tokengebruiksmetrieken uit. Om ze te zien, configureer je eerst een telemetriebestemming en stuur je vervolgens verzoeken:

Configureer een telemetriebestemming voor de gateway, zoals Application Insights. Zie Bestuur, beveilig en Opereren.
Stuur één of meer verzoeken via de gateway, zoals eerder te zien is in Call the gateway.
Open je telemetriebestemming om het gebruik van tokens te bekijken. Als je Application Insights gebruikt, biedt het portaal een ingebouwd dashboard voor tokenverbruik.

Omdat telemetrie pas wordt uitgezonden nadat je een bestemming hebt gekoppeld, configureer je monitoring voordat je erop vertrouwt. Tokengebruik is momenteel de enige gegenereerde metriek; logboeken, traceringen en andere meetgegevens voor modellen en hulpmiddelen zijn binnenkort beschikbaar. Aanroepers gebruiken runtimetoegangssleutels op gatewayniveau, zodat je het verkeer kunt monitoren zonder provideraanmeldgegevens bloot te stellen aan clienttoepassingen. Om een telemetriebestemming te configureren, zie Govern, secure, and operate.

De hulpbronnen opschonen

Als je klaar bent, verwijder dan alle bronnen die je niet meer nodig hebt. Verwijder de AI Gateway tier-instantie, providertest-deployments en runtime-toegangssleutels die je alleen voor evaluatie hebt aangemaakt.

Volgende stappen

Feedback

Is deze pagina nuttig?

Last updated on 2026-07-28