Självstudie: Anslut till Azure OpenAI-tjänsten i AKS med hjälp av en anslutningssträng (förhandsversion)

Artikel
05/21/2024

I den här självstudien lär du dig hur du skapar en podd i ett AKS-kluster (Azure Kubernetes), som pratar med Azure OpenAI Service med hjälp av en anslutningssträng. Du utför följande uppgifter:

Skapa ett AKS-kluster och Azure OpenAI Service med gpt-4 modelldistribution.
Skapa en anslutning mellan AKS-klustret och Azure OpenAI med Service Anslut or.
Klona ett exempelprogram som ska kommunicera med OpenAI-tjänsten från ett AKS-kluster.
Distribuera programmet till en podd i AKS-klustret och testa anslutningen.
Rensa resurser.

Förutsättningar

Ett Azure-konto med en aktiv prenumeration. Skapa ett konto utan kostnad.
- Använd Bash-miljön i Azure Cloud Shell. Mer information finns i Snabbstart för Bash i Azure Cloud Shell.
- Om du föredrar att köra CLI-referenskommandon lokalt installerar du Azure CLI. Om du kör i Windows eller macOS kan du köra Azure CLI i en Docker-container. Mer information finns i Så här kör du Azure CLI i en Docker-container.
  - Om du använder en lokal installation loggar du in på Azure CLI med hjälp av kommandot az login. Slutför autentiseringsprocessen genom att följa stegen som visas i terminalen. Andra inloggningsalternativ finns i Logga in med Azure CLI.
  - När du uppmanas att installera Azure CLI-tillägget vid första användningen. Mer information om tillägg finns i Använda tillägg med Azure CLI.
  - Kör az version om du vill hitta versionen och de beroende bibliotek som är installerade. Om du vill uppgradera till den senaste versionen kör du az upgrade.
Docker och kubectl för att hantera containeravbildningar och Kubernetes-resurser.
Grundläggande förståelse för containrar och AKS. Kom igång med att förbereda ett program för AKS.
Åtkomstbehörigheter för att skapa Azure OpenAI-tjänstresurser och distribuera modeller.

Skapa Azure-resurser

Skapa en resursgrupp för den här självstudien.

az group create \
    --name MyResourceGroup \
    --location eastus

Skapa ett AKS-kluster med följande kommando eller genom att referera till AKS-snabbstarten. I det här klustret skapar vi tjänstanslutningen och podddefinitionen och distribuerar exempelprogrammet.
```
az aks create \
    --resource-group MyResourceGroup \
    --name MyAKSCluster \
    --enable-managed-identity \
    --node-count 1 \
   --generate-ssh-keys
```

Anslut till klustret med kommandot az aks get-credentials.

az aks get-credentials \
    --resource-group MyResourceGroup \
    --name MyAKSCluster

Skapa en Azure OpenAI Service-resurs med kommandot az cognitiveservices account create . Du kan också läsa mer i den här självstudien . Azure OpenAI Service är den måltjänst som vi ska ansluta till AKS-klustret.

az cognitiveservices account create \
    --resource-group MyResourceGroup \
    --name MyOpenAIService \
    --location eastus \
    --kind OpenAI \
    --sku s0 \
    --custom-domain myopenaiservice \
    --subscription <SubscriptionID>

Distribuera en modell med kommandot az cognitiveservices deployment create . Modellen används i exempelprogrammet för att testa anslutningen.

az cognitiveservices account deployment create \
    --resource-group MyResourceGroup \
    --name MyOpenAIService
    --deployment-name MyModel \
    --model-name gpt-4 \
    --model-version 0613 \
    --model-format OpenAI \
    --sku-name "Standard"
    --capacity 1

Skapa en Azure Container Registry-resurs (ACR) med kommandot az acr create eller referera till den här självstudien. Registret är värd för containeravbildningen av exempelprogrammet, som AKS-podddefinitionen använder.
```
az acr create \
    --resource-group MyResourceGroup \
    --name myregistry \
    --sku Standard
```

Aktivera anonym pull med kommandot az acr update så att AKS-klustret kan använda avbildningarna i registret.

az acr update \
    --resource-group MyResourceGroup \
    --name myregistry \
    --anonymous-pull-enabled

Skapa en tjänstanslutning i AKS med Service Anslut or (förhandsversion)

Skapa en tjänstanslutning mellan ett AKS-kluster och Azure OpenAI-tjänsten i Azure-portalen eller Azure CLI.

Portal
Azure CLI

I snabbstarten för AKS-tjänstanslutning finns instruktioner för hur du skapar en ny anslutning och fyller i inställningarna som refererar till exemplen i följande tabell. Lämna alla andra inställningar med sina standardvärden.

Fliken Grundläggande:

Inställning	Exempelvärde	beskrivning
Kubernetes-namnområde	standard	Kubernetes-namnområdet.
Typ av tjänst	OpenAI-tjänst	Måltjänsttypen.
Anslutningens namn	openai_conn	Använd anslutningsnamnet som tillhandahålls av Service Anslut eller eller välj ditt eget anslutningsnamn.
Abonnemang	`<MySubscription>`	Prenumerationen som används för Azure OpenAI Service.
OpenAI	`<MyOpenAIService>`	Den Azure OpenAI-måltjänst som du vill ansluta till.
Klienttyp	Python	Det kodspråk eller ramverk som du använder för att ansluta till måltjänsten.

Fliken Autentisering:

Autentiseringsinställning Exempelvärde beskrivning

Autentiseringstyp Anslutningssträng Tjänst Anslut eller autentiseringstyp.

Autentiseringsinställning	Exempelvärde	beskrivning
Autentiseringstyp	Anslutningssträng	Tjänst Anslut eller autentiseringstyp.

När anslutningen har skapats kan du visa dess information i fönstret Tjänst Anslut eller.

Använd Azure CLI-kommandot för att skapa en tjänstanslutning till Azure OpenAI-tjänsten med följande information:

Resursgruppsnamn för källberäkningstjänsten: resursgruppens namn på AKS-klustret.
AKS-klusternamn: namnet på ditt AKS-kluster som ansluter till måltjänsten.
Namn på måltjänstresursgrupp: resursgruppsnamnet för Azure OpenAI-tjänsten.
OpenAI-tjänstnamn: Azure OpenAI-tjänsten som är ansluten.

az aks connection create cognitiveservices --secret

Klona exempelprogram

Klona exempellagringsplatsen:

git clone https://github.com/Azure-Samples/serviceconnector-aks-samples.git

Gå till lagringsplatsens exempelmapp för Azure OpenAI:

cd serviceconnector-aks-samples/azure-openai-connection-string

<MyModel> Ersätt platshållaren i app.py filen med modellnamnet som vi distribuerade.

Skapa och push-överföra containeravbildningar

Skapa och push-överföra avbildningarna till containerregistret med hjälp av azure CLI az acr build-kommandot .
```
az acr build --registry <MyRegistry> --image sc-demo-openai-connstr:latest ./
```
Visa avbildningarna i containerregistret med kommandot az acr repository list .
```
az acr repository list --name <MyRegistry> --output table
```

Kör program- och testanslutning

Ersätt platshållarna i pod.yaml filen i azure-openai-connection-string mappen.
- Ersätt <YourContainerImage> med namnet på den avbildning som vi skapade tidigare. Exempel: <MyRegistry>.azurecr.io/sc-demo-openai-connstr:latest.
- Ersätt <SecretCreatedByServiceConnector> med hemligheten som skapats av Service Anslut or. Du kan kontrollera det hemliga namnet i Azure-portalen i fönstret Tjänst Anslut eller.
Distribuera podden till klustret med kubectl apply kommandot . Installera kubectl lokalt med kommandot az aks install-cli om det inte är installerat. Kommandot skapar en podd med namnet sc-demo-openai-connstr i standardnamnområdet för aks-klustret.
```
kubectl apply -f pod.yaml
```
Kontrollera om distributionen lyckas genom att visa podden med kubectl.
```
kubectl get pod/sc-demo-openai-connstr
```
Kontrollera att anslutningen fungerar genom att visa loggarna med kubectl.
```
kubectl logs pod/sc-demo-openai-connstr
```

Rensa resurser

Om du inte längre behöver dessa resurser rensar du de Azure-resurser som skapades i den här självstudien genom att ta bort resursgruppen.

az group delete \
    --resource-group MyResourceGroup

Nästa steg

Läs följande artiklar om du vill veta mer om Service Anslut eller-begrepp och hur det hjälper AKS att ansluta till Azure-tjänster.

Lär dig mer om service-Anslut eller-begrepp

Använd Service Anslut or för att ansluta ett AKS-kluster till andra molntjänster

Dela via