Tutorial: Menyambungkan ke Layanan Azure OpenAI di AKS menggunakan string koneksi (pratinjau)

Artikel
08/02/2024

Dalam tutorial ini, Anda mempelajari cara membuat pod di kluster Azure Kubernetes (AKS), yang berbicara dengan Azure OpenAI Service menggunakan string koneksi. Kemudian, selesaikan tugas-tugas berikut:

Buat kluster AKS dan Azure OpenAI Service dengan gpt-4 penyebaran model.
Buat koneksi antara kluster AKS dan Azure OpenAI dengan Konektor Layanan.
Kloning aplikasi sampel yang akan berbicara dengan layanan OpenAI dari kluster AKS.
Sebarkan aplikasi ke pod di kluster AKS dan uji koneksi.
Membersihan sumber daya.

Prasyarat

Akun Azure dengan langganan aktif. Buat akun secara gratis.
- Gunakan lingkungan Bash di Azure Cloud Shell. Untuk informasi selengkapnya, lihat Mulai Cepat untuk Bash di Azure Cloud Shell.
- Jika Anda lebih suka menjalankan perintah referensi CLI secara lokal, instal Azure CLI. Jika Anda menjalankan Windows atau macOS, pertimbangkan untuk menjalankan Azure CLI dalam kontainer Docker. Untuk informasi lebih lanjut, lihat Cara menjalankan Azure CLI di kontainer Docker.
  - Jika Anda menggunakan instalasi lokal, masuk ke Azure CLI dengan menggunakan perintah login az. Untuk menyelesaikan proses autentikasi, ikuti langkah-langkah yang ditampilkan di terminal Anda. Untuk opsi masuk lainnya, lihat Masuk dengan Azure CLI.
  - Saat Anda diminta, instal ekstensi Azure CLI pada penggunaan pertama. Untuk informasi selengkapnya tentang ekstensi, lihat Menggunakan ekstensi dengan Azure CLI.
  - Jalankan versi az untuk menemukan versi dan pustaka dependen yang diinstal. Untuk meningkatkan ke versi terbaru, jalankan peningkatan az.
Docker dan kubectl untuk mengelola gambar kontainer dan sumber daya Kubernetes.
Pemahaman dasar tentang kontainer dan AKS. Mulai dari menyiapkan aplikasi untuk AKS.
Akses izin untuk membuat sumber daya Azure OpenAI Service dan menyebarkan model.

Membuat sumber daya Azure

Buat grup sumber daya untuk tutorial ini.

az group create \
    --name MyResourceGroup \
    --location eastus

Buat kluster AKS dengan perintah berikut, atau dengan merujuk ke mulai cepat AKS. Kluster ini adalah tempat kami membuat koneksi layanan dan definisi pod dan menyebarkan aplikasi sampel.
```
az aks create \
    --resource-group MyResourceGroup \
    --name MyAKSCluster \
    --enable-managed-identity \
    --node-count 1 \
   --generate-ssh-keys
```

Sambungkan ke kluster menggunakan perintah az aks get-credentials .

az aks get-credentials \
    --resource-group MyResourceGroup \
    --name MyAKSCluster

Buat sumber daya Azure OpenAI Service menggunakan perintah az cognitiveservices account create . Secara opsional lihat tutorial ini untuk instruksi lebih lanjut. Azure OpenAI Service adalah layanan target yang akan kami sambungkan ke kluster AKS.
```
az cognitiveservices account create \
    --resource-group MyResourceGroup \
    --name MyOpenAIService \
    --location eastus \
    --kind OpenAI \
    --sku s0 \
    --custom-domain myopenaiservice \
    --subscription <SubscriptionID>
```

Sebarkan model dengan perintah az cognitiveservices deployment create . Model digunakan dalam aplikasi sampel untuk menguji koneksi.

az cognitiveservices account deployment create \
    --resource-group MyResourceGroup \
    --name MyOpenAIService
    --deployment-name MyModel \
    --model-name gpt-4 \
    --model-version 0613 \
    --model-format OpenAI \
    --sku-name "Standard"
    --capacity 1

Buat sumber daya Azure Container Registry (ACR) dengan perintah az acr create , atau lihat tutorial ini. Registri menghosting gambar kontainer aplikasi sampel, yang digunakan definisi pod AKS.
```
az acr create \
    --resource-group MyResourceGroup \
    --name myregistry \
    --sku Standard
```
Aktifkan penarikan anonim menggunakan perintah az acr update sehingga kluster AKS dapat menggunakan gambar dalam registri.
```
az acr update \
    --resource-group MyResourceGroup \
    --name myregistry \
    --anonymous-pull-enabled
```

Membuat koneksi layanan di AKS dengan Konektor Layanan (pratinjau)

Buat koneksi layanan antara kluster AKS dan Azure OpenAI Service di portal Azure atau Azure CLI.

Portal
Azure CLI

Lihat mulai cepat koneksi layanan AKS untuk instruksi membuat koneksi baru dan isi pengaturan yang mengacu pada contoh dalam tabel berikut. Biarkan semua pengaturan lain dengan nilai defaultnya.

Tab Dasar:

Pengaturan	Contoh nilai	Deskripsi
Namespace Kubernetes	Default	Namespace Layanan Kubernetes.
Jenis layanan	Layanan OpenAI	Jenis layanan target.
Nama koneksi	openai_conn	Gunakan nama koneksi yang disediakan oleh Konektor Layanan atau pilih nama koneksi Anda sendiri.
Langganan	`<MySubscription>`	Langganan yang digunakan untuk Layanan Azure OpenAI.
OpenAI	`<MyOpenAIService>`	Layanan Azure OpenAI target yang ingin Anda sambungkan.
Jenis klien	Python	Bahasa atau kerangka kerja kode yang Anda gunakan untuk menyambungkan ke layanan target.

Tab Autentikasi:

Pengaturan Autentikasi Contoh nilai Deskripsi

Jenis autentikasi String Koneksi Jenis autentikasi Konektor Layanan.

Pengaturan Autentikasi	Contoh nilai	Deskripsi
Jenis autentikasi	String Koneksi	Jenis autentikasi Konektor Layanan.

Setelah koneksi dibuat, Anda bisa menampilkan detailnya di panel Konektor Layanan.

Gunakan perintah Azure CLI untuk membuat koneksi layanan ke layanan Azure OpenAI, memberikan informasi berikut:

Nama grup sumber daya layanan komputasi sumber daya: nama grup sumber daya kluster AKS.
Nama kluster AKS: nama kluster AKS Anda yang tersambung ke layanan target.
Nama grup sumber daya layanan target: nama grup sumber daya layanan Azure OpenAI.
Nama layanan OpenAI: layanan Azure OpenAI yang tersambung.

az aks connection create cognitiveservices --secret

Mengkloning aplikasi sampel

Klon sampel repositori:

git clone https://github.com/Azure-Samples/serviceconnector-aks-samples.git

Buka folder sampel repositori untuk Azure OpenAI:

cd serviceconnector-aks-samples/azure-openai-connection-string

<MyModel> Ganti tempat penampung dalam app.py file dengan nama model yang kami sebarkan.

Membangun dan mendorong gambar kontainer

Buat dan dorong gambar ke registri kontainer Anda menggunakan perintah Azure CLI az acr build .
```
az acr build --registry <MyRegistry> --image sc-demo-openai-connstr:latest ./
```
Lihat gambar di registri kontainer Anda menggunakan perintah az acr repository list .
```
az acr repository list --name <MyRegistry> --output table
```

Jalankan aplikasi dan uji koneksi

Ganti tempat penampung dalam pod.yaml file di azure-openai-connection-string folder.
- Ganti <YourContainerImage> dengan nama gambar yang kami buat sebelumnya. Misalnya: <MyRegistry>.azurecr.io/sc-demo-openai-connstr:latest.
- Ganti <SecretCreatedByServiceConnector> dengan rahasia yang dibuat oleh Konektor Layanan. Anda dapat memeriksa nama rahasia di portal Azure, di panel Konektor Layanan.
Sebarkan pod ke kluster Anda dengan kubectl apply perintah . Instal kubectl secara lokal menggunakan perintah az aks install-cli jika tidak diinstal. Perintah membuat pod bernama sc-demo-openai-connstr di namespace default kluster AKS Anda.
```
kubectl apply -f pod.yaml
```
Periksa apakah penyebaran berhasil dengan melihat pod dengan kubectl.
```
kubectl get pod/sc-demo-openai-connstr
```
Periksa apakah koneksi berfungsi dengan melihat log dengan kubectl.
```
kubectl logs pod/sc-demo-openai-connstr
```

Membersihkan sumber daya

Jika Anda tidak memerlukan sumber daya ini lagi, bersihkan sumber daya Azure yang dibuat dalam tutorial ini dengan menghapus grup sumber daya.

az group delete \
    --resource-group MyResourceGroup

Langkah berikutnya

Baca artikel berikut untuk mempelajari selengkapnya tentang konsep Konektor Layanan dan caranya membantu AKS terhubung ke layanan Azure.

Mempelajari tentang konsep Konektor Layanan

Menggunakan Konektor Layanan untuk menyambungkan kluster AKS ke layanan cloud lainnya

Bagikan melalui