Bagikan melalui

Tutorial: Membuat gambar menggunakan GPU tanpa server di Azure Container Apps

Dalam artikel ini, Anda mempelajari cara membuat aplikasi kontainer yang menggunakan GPU tanpa server untuk mendukung aplikasi AI.

Dengan GPU tanpa server, Anda memiliki akses langsung ke sumber daya komputasi GPU tanpa harus melakukan konfigurasi infrastruktur manual seperti menginstal driver. Yang harus Anda lakukan adalah menyebarkan gambar model AI Anda.

Di tutorial ini, Anda akan:

  • Membuat aplikasi dan lingkungan kontainer baru
  • Mengonfigurasi lingkungan untuk menggunakan GPU tanpa server
  • Menyebarkan aplikasi Anda ke Azure Container Apps
  • Gunakan aplikasi pengaktifan GPU tanpa server baru
  • Aktifkan streaming artefak untuk mengurangi waktu mulai dingin GPU.

Prasyarat

Sumber daya Deskripsi
Akun Azure Anda memerlukan akun Azure dengan langganan aktif. Jika Anda tidak memilikinya, Anda dapat membuatnya secara gratis.
Akses ke GPU tanpa server Akses ke GPU hanya tersedia setelah Anda meminta kuota GPU. Anda dapat mengirimkan permintaan kuota GPU Anda melalui kasus dukungan pelanggan.
Sumber daya Deskripsi
Akun Azure Anda memerlukan akun Azure dengan langganan aktif. Jika Anda tidak memilikinya, Anda dapat membuatnya secara gratis.
Akses ke GPU tanpa server Akses ke GPU hanya tersedia setelah Anda meminta kuota GPU. Anda dapat mengirimkan permintaan kuota GPU Anda melalui kasus dukungan pelanggan.
Azure CLI Instal Azure CLI atau tingkatkan ke versi terbaru.

Membuat aplikasi kontainer Anda

  1. Buka portal Azure dan cari dan pilih Aplikasi Kontainer.

  2. Pilih Buat lalu pilih Aplikasi Kontainer.

  3. Di jendela Dasar , masukkan nilai berikut ke dalam setiap bagian.

    Di bawah Detail proyek masukkan nilai berikut:

    Pengaturan Nilai
    Langganan Pilih langganan Azure Anda.
    Grup sumber daya Pilih Buat baru dan masukkan my-gpu-demo-group.
    Nama aplikasi container Masukkan my-gpu-demo-app.
    Sumber penerapan Pilih Gambar Kontainer.

    Masukkan nilai berikut di bawah lingkungan Aplikasi Kontainer:

    Pengaturan Nilai
    Wilayah Pilih Swedia Tengah.

    Untuk wilayah yang lebih didukung, lihat Menggunakan GPU tanpa server di Azure.
    Lingkungan Aplikasi Container Pilih Buat baru.

    Di jendela Buat lingkungan Container Apps, masukkan nilai berikut ini:

    Pengaturan Nilai
    Nama lingkungan Masukkan my-gpu-demo-env.

    Pilih Buat.

    Pilih Berikutnya: Kontainer >.

  4. Di jendela Kontainer , masukkan nilai berikut ini:

    Pengaturan Nilai
    Nama Masukkan my-gpu-demo-container.
    Sumber gambar Pilih Hub Docker atau registri lainnya.
    Jenis citra Pilih publik.
    Server masuk registri Masukkan mcr.microsoft.com.
    Gambar dan tag Masukkan k8se/gpu-quickstart:latest.
    Profil beban kerja Pilih Konsumsi - Hingga 4 vCPU, memori 8 Gib.
    GPU (Unit Pemrosesan Grafis) Pilih kotak centang.
    Jenis GPU Pilih Konsumsi-GPU-NC8as-T4 - Hingga 8 vCPU, memori 56 GiB dan pilih tautan untuk menambahkan profil ke lingkungan Anda.

    Pilih Berikutnya: Ingress >.

  5. Di jendela Ingress , masukkan nilai berikut:

    Pengaturan Nilai
    Ingress Pilih kotak centang Diaktifkan.
    Lalu lintas masuk Pilih tombol radio Menerima lalu lintas dari mana saja .
    Port yang dituju Masukkan 80.

  6. Pilih Tinjau dan Buat.

  7. Pilih Buat.

  8. Tunggu beberapa saat hingga penyebaran selesai lalu pilih Buka sumber daya.

    Proses ini dapat memakan waktu hingga lima menit untuk diselesaikan.

Menggunakan aplikasi GPU Anda

Dari jendela Gambaran Umum , pilih tautan Url Aplikasi untuk membuka ujung depan aplikasi web di browser Anda dan gunakan aplikasi GPU.

Catatan

  • Untuk mencapai performa terbaik dari aplikasi GPU Anda, ikuti langkah-langkah untuk meningkatkan permulaan dingin untuk GPU tanpa server.
  • Ketika ada beberapa kontainer di aplikasi Anda, kontainer pertama mendapatkan akses ke GPU.

Membuat variabel lingkungan

Tentukan variabel lingkungan berikut. Sebelum menjalankan perintah ini, ganti <PLACEHOLDERS> dengan nilai Anda.

RESOURCE_GROUP="<RESOURCE_GROUP>"
ENVIRONMENT_NAME="<ENVIRONMENT_NAME>"
LOCATION="swedencentral"
CONTAINER_APP_NAME="<CONTAINER_APP_NAME>"
CONTAINER_IMAGE="mcr.microsoft.com/k8se/gpu-quickstart:latest"
WORKLOAD_PROFILE_NAME="NC8as-T4"
WORKLOAD_PROFILE_TYPE="Consumption-GPU-NC8as-T4"

Membuat aplikasi kontainer Anda

  1. Buat grup sumber daya untuk berisi sumber daya yang Anda buat dalam tutorial ini. Perintah ini harus menghasilkan Succeeded.

    az group create \
  --name $RESOURCE_GROUP \
  --location $LOCATION \
  --query "properties.provisioningState"

  2. Buat lingkungan Aplikasi Kontainer untuk menghosting aplikasi kontainer Anda. Perintah ini harus menghasilkan Succeeded.

    az containerapp env create \
  --name $ENVIRONMENT_NAME \
  --resource-group $RESOURCE_GROUP \
  --location "$LOCATION" \
  --query "properties.provisioningState"

  3. Tambahkan profil beban kerja ke lingkungan Anda.

    az containerapp env workload-profile add \
  --name $ENVIRONMENT_NAME \
  --resource-group $RESOURCE_GROUP \
  --workload-profile-name $WORKLOAD_PROFILE_NAME \
  --workload-profile-type $WORKLOAD_PROFILE_TYPE

  4. Buat aplikasi kontainer Anda.

    az containerapp create \
  --name $CONTAINER_APP_NAME \
  --resource-group $RESOURCE_GROUP \
  --environment $ENVIRONMENT_NAME \
  --image $CONTAINER_IMAGE \
  --target-port 80 \
  --ingress external \
  --cpu 8.0 \
  --memory 56.0Gi \
  --workload-profile-name $WORKLOAD_PROFILE_NAME \
  --query properties.configuration.ingress.fqdn

    Perintah ini menghasilkan URL aplikasi untuk aplikasi kontainer Anda.

Menggunakan aplikasi GPU Anda

Buka URL aplikasi untuk aplikasi kontainer Anda di browser Anda. Perhatikan bahwa diperlukan waktu hingga lima menit agar aplikasi kontainer dapat dimulai.

Aplikasi Kontainer Azure dengan aplikasi GPU Tanpa Server memungkinkan Anda memasukkan perintah untuk menghasilkan gambar. Anda juga dapat memilih Generate Image untuk menggunakan perintah default. Pada langkah berikutnya, Anda melihat hasil pemrosesan GPU.

Catatan

  • Untuk mencapai performa terbaik dari aplikasi GPU Anda, ikuti langkah-langkah untuk meningkatkan permulaan dingin untuk GPU tanpa server.
  • Ketika ada beberapa kontainer di aplikasi Anda, kontainer pertama mendapatkan akses ke GPU.

Pantau GPU

Setelah Anda membuat gambar, gunakan langkah-langkah berikut untuk melihat hasil pemrosesan GPU:

  1. Buka aplikasi kontainer Anda di portal Azure.

  2. Dari bagian Pemantauan, pilih Konsol.

  3. Pilih replika Anda.

  4. Pilih kontainer Anda.

  5. Pilih Sambungkan Kembali.

  6. Di jendela Pilih perintah mulai, pilih /bin/bash, dan pilih Sambungkan.

  7. Setelah shell disiapkan, masukkan perintah nvidia-smi untuk meninjau status dan output GPU Anda.

Membersihkan sumber daya

Sumber daya yang dibuat dalam tutorial ini berpengaruh pada tagihan Azure Anda.

Jika Anda tidak akan menggunakan layanan ini dalam jangka panjang, gunakan langkah-langkah untuk menghapus semua yang dibuat dalam tutorial ini.

  1. Di portal Azure, cari dan pilih Grup Sumber Daya.

  2. Pilih my-gpu-demo-group.

  3. Pilih Hapus grup sumber daya.

  4. Dalam kotak konfirmasi, masukkan my-gpu-demo-group.

  5. Pilih Hapus.

Jalankan perintah berikut.

az group delete --name $RESOURCE_GROUP

Langkah berikutnya

Meningkatkan cold start untuk GPU tanpa server Anda

  • Last updated on