Kurz: Připojení do služby Azure OpenAI v AKS pomocí identity úloh (Preview)

Článek
05/21/2024

V tomto kurzu se dozvíte, jak vytvořit pod v clusteru Azure Kubernetes (AKS), který komunikuje se službou Azure OpenAI Service pomocí identity úloh a služby Připojení or. V tomto kurzu provedete následující úlohy:

Vytvořte cluster AKS a službu Azure OpenAI s nasazením gpt-4 modelu.
Vytvořte připojení mezi clusterem AKS a Azure OpenAI pomocí služby Připojení or.
Naklonujte ukázkovou aplikaci, která bude komunikovat se službou Azure OpenAI z clusteru AKS.
Nasaďte aplikaci do podu v clusteru AKS a otestujte připojení.
Vyčistěte prostředky.

Požadavky

Účet Azure s aktivním předplatným. Vytvoření účtu zdarma
- Použijte prostředí Bash v Azure Cloud Shellu. Další informace najdete v tématu Rychlý start pro Bash v Azure Cloud Shellu.
- Pokud dáváte přednost místnímu spouštění referenčních příkazů rozhraní příkazového řádku, nainstalujte Azure CLI. Pokud používáte Windows nebo macOS, zvažte spuštění Azure CLI v kontejneru Docker. Další informace najdete v tématu Jak spustit Azure CLI v kontejneru Dockeru.
  - Pokud používáte místní instalaci, přihlaste se k Azure CLI pomocí příkazu az login. Pokud chcete dokončit proces ověřování, postupujte podle kroků zobrazených na terminálu. Další možnosti přihlášení najdete v tématu Přihlášení pomocí Azure CLI.
  - Po zobrazení výzvy nainstalujte rozšíření Azure CLI při prvním použití. Další informace o rozšířeních najdete v tématu Využití rozšíření v Azure CLI.
  - Spuštěním příkazu az version zjistěte verzi a závislé knihovny, které jsou nainstalované. Pokud chcete upgradovat na nejnovější verzi, spusťte az upgrade.
Nainstalujte Docker a kubectl pro správu imagí kontejneru a prostředků Kubernetes.
Základní znalost kontejneru a AKS Začněte přípravou aplikace pro AKS.
Základní znalost identity úloh
Přístupová oprávnění k vytváření prostředků Azure OpenAI a nasazení modelů

Vytvoření zdrojů Azure

Tento kurz zahájíte vytvořením několika prostředků Azure.

Vytvořte skupinu prostředků pro tento kurz.

az group create \
    --name MyResourceGroup \
    --location eastus

Vytvořte cluster AKS pomocí následujícího příkazu nebo pomocí rychlého startu AKS. V tomto kurzu vytvoříme definici připojení služby a podu a nasadíme ukázkovou aplikaci do tohoto clusteru.
```
az aks create \
    --resource-group MyResourceGroup \
    --name MyAKSCluster \
    --enable-managed-identity \
    --node-count 1
    --generate-ssh-keys
```

Připojení do clusteru pomocí příkazu az aks get-credentials.

az aks get-credentials \
    --resource-group MyResourceGroup \
    --name MyAKSCluster

Vytvořte prostředek služby Azure OpenAI pomocí příkazu az cognitiveservices account create . Další pokyny najdete v tomto kurzu. Služba Azure OpenAI je cílová služba, kterou se připojíme ke clusteru AKS.

az cognitiveservices account create \
    --resource-group MyResourceGroup \
    --name MyOpenAIService \
    --location eastus \
    --kind OpenAI \
    --sku s0 \
    --custom-domain myopenaiservice \
    --subscription <SubscriptionID>

Nasaďte model pomocí příkazu az cognitiveservices deployment create . Model se používá v ukázkové aplikaci k otestování připojení.

az cognitiveservices account deployment create \
    --resource-group MyResourceGroup \
    --name MyOpenAIService
    --deployment-name MyModel \
    --model-name gpt-4 \
    --model-version 0613 \
    --model-format OpenAI \
    --sku-name "Standard"
    --capacity 1

Pomocí příkazu az acr create vytvořte prostředek služby Azure Container Registry (ACR) nebo si prohlédnou tento kurz. Registr hostuje image kontejneru ukázkové aplikace, kterou definice podu AKS využívá.
```
az acr create \
    --resource-group MyResourceGroup \
    --name myregistry \
    --sku Standard
```
Povolte anonymní vyžádání obsahu pomocí příkazu az acr update , aby cluster AKS mohl využívat image v registru.
```
az acr update \
    --resource-group MyResourceGroup \
    --name MyRegistry \
    --anonymous-pull-enabled
```
Pomocí příkazu az identity create nebo podle tohoto kurzu vytvořte spravovanou identitu přiřazenou uživatelem. Po vytvoření připojení se spravovaná identita přiřazená uživatelem použije k povolení identity úloh pro úlohy AKS.
```
az identity create \
    --resource-group MyResourceGroup \
    --name MyIdentity
```

Vytvoření připojení služby v AKS se službou Připojení or (Preview)

Vytvořte připojení služby mezi clusterem AKS a službou Azure OpenAI na webu Azure Portal nebo v Azure CLI.

Azure Portal
Azure CLI

Pokyny k vytvoření nového připojení najdete v rychlém startu připojení ke službě AKS a vyplňte nastavení, která odkazují na příklady v následující tabulce. Ponechte všechna ostatní nastavení s výchozími hodnotami.

Karta Základy:

Nastavení	Příklad hodnoty	Popis
Obor názvů Kubernetes	default	Obor názvů Kubernetes.
Typ služby	Služba OpenAI	Typ cílové služby.
Název připojení	openai_conn	Použijte název připojení poskytovaný službou Připojení or nebo zvolte vlastní název připojení.
Předplatné	`<MySubscription>`	Předplatné používané pro službu Azure OpenAI.
OpenAI	`<MyOpenAIService>`	Cílová služba Azure OpenAI, ke které se chcete připojit.
Typ klienta	Python	Jazyk kódu nebo architektura, které používáte pro připojení k cílové službě.

Karta Ověřování:

Nastavení ověřování	Příklad hodnoty	Popis
Typ ověřování	Identita úloh	Typ ověřování Připojení služby.
Předplatné	`<MySubscription>`	Předplatné, které obsahuje spravovanou identitu přiřazenou uživatelem.
Spravovaná identita přiřazená uživatelem	`<MyIdentity>`	K povolení identity úloh je potřeba spravovaná identita přiřazená uživatelem.

Po vytvoření připojení můžete zobrazit jeho podrobnosti v podokně Service Připojení or.

Pomocí příkazu Azure CLI vytvořte připojení služby ke službě Azure OpenAI a zadejte následující informace:

Název skupiny prostředků zdrojové výpočetní služby: název skupiny prostředků clusteru AKS.
Název clusteru AKS: název clusteru AKS, který se připojuje k cílové službě.
Název cílové skupiny prostředků služby: název skupiny prostředků služby Azure OpenAI.
Název služby OpenAI: připojená služba Azure OpenAI.
ID prostředku identity přiřazené uživatelem: ID prostředku identity přiřazené uživatelem použité k vytvoření identity úlohy.

az aks connection create cognitiveservices \
   --workload-identity <user-identity-resource-id>

Klonování ukázkové aplikace

Naklonujte ukázkové úložiště:

git clone https://github.com/Azure-Samples/serviceconnector-aks-samples.git

Přejděte do ukázkové složky úložiště pro Azure OpenAI:

cd serviceconnector-aks-samples/azure-openai-workload-identity

<MyModel> Zástupný symbol v app.py souboru nahraďte názvem modelu, který jsme nasadili.

Vytváření a nabízení imagí kontejneru

Sestavte a nasdílejte image do služby ACR pomocí příkazu Az acr build .

az acr build --registry <MyRegistry> --image sc-demo-openai-identity:latest ./

Pomocí příkazu az acr repository list zobrazte image v instanci služby ACR.
```
az acr repository list --name <MyRegistry> --output table
```

Spuštění aplikace a testování připojení

Nahraďte zástupné symboly v pod.yaml souboru ve azure-openai-workload-identity složce.
- Nahraďte <YourContainerImage> názvem image, který jsme vytvořili dříve. Například <MyRegistry>.azurecr.io/sc-demo-openai-identity:latest.
- Po vytvoření připojení nahraďte <ServiceAccountCreatedByServiceConnector> účtem služby vytvořeným službou Připojení or. Název účtu služby můžete zkontrolovat na webu Azure Portal v podokně Service Připojení or.
- Nahraďte <SecretCreatedByServiceConnector> tajným kódem vytvořeným službou Připojení or po vytvoření připojení. Název tajného kódu můžete zkontrolovat na webu Azure Portal v podokně service Připojení or.
Nasaďte pod do clusteru kubectl apply pomocí příkazu, který vytvoří pod pojmenovaný sc-demo-openai-identity ve výchozím oboru názvů clusteru AKS. Pokud není nainstalovaný, nainstalujte kubectl místně příkazem az aks install-cli.
```
kubectl apply -f pod.yaml
```
Zkontrolujte, jestli nasazení proběhlo úspěšně, a to zobrazením podu s kubectl.
```
kubectl get pod/sc-demo-openai-identity
```
Zkontrolujte, jestli je připojení navázáno zobrazením protokolů pomocí kubectlpříkazu .
```
kubectl logs pod/sc-demo-openai-identity
```

Vyčištění prostředků

Pokud už prostředky vytvořené v tomto kurzu nepotřebujete, vyčistěte je odstraněním skupiny prostředků.

az group delete \
    --resource-group MyResourceGroup

Další kroky

Další informace o konceptech služby Připojení or a o tom, jak AKS pomáhá připojit se ke službám, najdete v následujících článcích.

Další informace o konceptech služby Připojení or

Připojení clusteru AKS k jiným cloudovým službám pomocí nástroje Service Připojení or

Sdílet prostřednictvím